[논문 리뷰] Self-Adaptive Hierarchical Sentence Model

Han Zhao, Zhengdong Lu외 1명|arXiv (Cornell University)|2015. 04. 20.

Topic Modeling참고 문헌 31인용 수 52

한 줄 요약

이 논문은 단어 조각의 재귀적 게이팅 조합을 통해 다중 척도 표현을 구축하고 게이팅 네트워크를 통해 최적의 표현을 동적으로 선택함으로써 자기적응형 계층적 문장 모델인 AdaSent을 제안한다. 이 모델은 기울기 소실 문제를 완화하고 분류 정확도를 향상시키는 태스크별 적응형 표현을 학습함으로써 다섯 가지 벤치마크 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

The ability to accurately model a sentence at varying stages (e.g., word-phrase-sentence) plays a central role in natural language processing. As an effort towards this goal we propose a self-adaptive hierarchical sentence model (AdaSent). AdaSent effectively forms a hierarchy of representations from words to phrases and then to sentences through recursive gated local composition of adjacent segments. We design a competitive mechanism (through gating networks) to allow the representations of the same sentence to be engaged in a particular learning task (e.g., classification), therefore effectively mitigating the gradient vanishing problem persistent in other recursive models. Both qualitative and quantitative analysis shows that AdaSent can automatically form and select the representations suitable for the task at hand during training, yielding superior classification performance over competitor models on 5 benchmark data sets.

연구 동기 및 목표

• 고정 길이 문장 표현이 계층적 문장 구조와 태스크별 의미를 포착하는 데 한계가 있음을 해결하기 위해.
• 재귀 신경망에서 흔히 발생하는 기울기 소실 문제를 태스크 적응형 표현 조합을 통해 완화하기 위해.
• 평탄한 고정 길이 벡터 표현의 대안으로 다중 척도 계층적 표현을 탐색하기 위해.
• 입력과 태스크 컨텍스트에 기반하여 가장 관련 있는 표현 수준(단어, 어구, 문장)을 자동으로 선택할 수 있도록 하기 위해.
• 학습 가능한 게이팅 메커니즘을 통해 계층적 표현을 적응적으로 조합함으로써 문장 분류 성능을 향상시키기 위해.

제안 방법

• 접근한 단어 조각의 재귀적 게이팅 조합을 사용하여 어구 수준 및 문장 수준의 표현을 형성하는 계층적 피라미드 표현을 구성한다.
• 계층의 각 수준에 대해 신뢰도 점수를 계산하는 게이팅 네트워크를 활용하여 태스크에 가장 관련 있는 표현을 동적으로 선택한다.
• 입력과 태스크 컨텍스트에 기반하여 가중치를 할당하는 게이팅 네트워크에 의해 가중치 합성된 계층적 표현을 사용한다.
• 게이팅 이전에 계층의 각 수준에서 글로벌 풀링(평균 또는 최대값)을 적용하여 압축된 표현을 생성한다.
• 전체 모델을 백프로파게이션을 사용하여 엔드 투 엔드로 훈련하며, 게이팅 네트워크는 최적화 과정에서 정보가 많은 수준을 강조하도록 학습한다.
• 각 계층 수준이 올바른 표현일 가능성을 모델링하는 신뢰도 점수 메커니즘을 도입하여 주의 메커니즘과 유사한 선택을 가능하게 한다.

실험 결과

연구 질문

• RQ1 입력과 태스크 컨텍스트에 기반하여 계층적 문장 모델이 단어, 어구, 문장 중 가장 적합한 표현 수준을 동적으로 선택할 수 있는가?
• RQ2 재귀적 계층적 구조에 게이팅 네트워크를 적용할 경우, 고정 길이 표현에 비해 문장 분류 과제에서 성능 향상이 이루어지는가?
• RQ3 적응형 표현 선택을 통해 재귀 신경망에서 흔히 발생하는 기울기 소실 문제를 모델이 어느 정도 완화할 수 있는가?
• RQ4 분류 정확도와 강건성 측면에서 다중 척도 계층적 표현은 cBoW, RNN, GRU 기반 모델과 비교해 어떻게 다른가?
• RQ5 명시적인 표현 선택에 대한 지도 없이 단지 엔드 투 엔드 훈련을 통해 태스크별 표현을 학습할 수 있는가?

주요 결과

• AdaSent은 다섯 가지 벤치마크 데이터셋에서 최신 기술을 초월하는 성능을 달성했다: MR에서 79.84%, CR에서 83.61%, SUBJ에서 92.19%, MPQA에서 90.42%, TREC에서 91.10%이며, cBoW, RNN, BRNN, GrConv를 포함한 모든 베이스라인을 능가했다.
• 모델은 낮은 분산(예: MR에서 1.26% 표준편차)을 보이며 뛰어난 강건성을 입증하여 다양한 무작위 초기화 하에서 일관된 성능을 보였다.
• 정성적 분석 결과, 게이팅 네트워크는 높은 수준의 표현이 잘못되었더라도 가장 정보가 많은 표현 수준에 가장 높은 신뢰도 점수를 할당하여 올바른 최종 예측을 이끌어냈다.
• PCA를 통한 시각화 결과, 특히 SUBJ, MPQA, TREC 데이터셋에서 cBoW에 비해 AdaSent이 더 분류에 유용하고 클래스 간으로 분리된 표현을 학습하는 것으로 나타났다.
• 명시적 제약 없이도 모델이 클래스를 암묵적으로 분리하는 것을 학습함으로써, 계층적이고 적응형 설계가 더 나은 특징 분리(disentanglement)를 가능하게 한다는 것을 시사한다.
• AdaSent은 루트 노드의 신뢰도 점수가 1.0인 경우 GrConv를 특수한 케이스로 일반화하며, 이는 모델의 유연성과 더 넓은 적용 가능성을 확인한다.