[논문 리뷰] Learning Natural Language Inference using Bidirectional LSTM model and Inner-Attention

Yang Liu, Chengjie Sun외 2명|arXiv (Cornell University)|2016. 05. 30.

Topic Modeling참고 문헌 9인용 수 234

한 줄 요약

문장 인코딩 기반 NLI 모델로, 내부 어텐션 메커니즘을 갖춘 양방향 LSTM으로 refined 문장 표현을 생성하며, 문장 인코딩 방식 중 경량 모델로 SNLI에서 최첨단 성능을 달성합니다.

ABSTRACT

In this paper, we proposed a sentence encoding-based model for recognizing text entailment. In our approach, the encoding of sentence is a two-stage process. Firstly, average pooling was used over word-level bidirectional LSTM (biLSTM) to generate a first-stage sentence representation. Secondly, attention mechanism was employed to replace average pooling on the same sentence for better representations. Instead of using target sentence to attend words in source sentence, we utilized the sentence's first-stage representation to attend words appeared in itself, which is called "Inner-Attention" in our paper . Experiments conducted on Stanford Natural Language Inference (SNLI) Corpus has proved the effectiveness of "Inner-Attention" mechanism. With less number of parameters, our model outperformed the existing best sentence encoding-based approach by a large margin.

연구 동기 및 목표

• recognizin g 텍스트 포함 관계(RTE) 인식을 무거운 특징 공학 없이 문장 인코딩 방식으로 동기 부여 및 해결.
• 두 단계 문장 인코딩 제안: 먼저 평균 풀링된 biLSTM 표현을 얻고, 같은 문장에서의 내부 어텐션 보정을 통해 같은 문장의 표현을 정제.
• 시암쌍 문장 인코더를 사용해 공유 가중치를 두고 매칭 모듈을 통해 함의(entailment), 모순(contradiction), 중립(neutral) 분류.
• 가벼운 모델을 유지하면서 성능을 더욱 향상시키는 입력 수정 전략 도입

제안 방법

• 각 문장을 두 단계 프로세스로 인코딩: (i) 워드 레벨 biLSTM 출력에 대해 평균 풀링하여 1차 문장 벡터를 얻고, (ii) 1차 벡터를 사용해 같은 문장의 단어에 주의를 기울이는 내부 어텐션 메커니즘을 적용하여 정제된 표현을 얻음.
• premise 와 hypothesis 인코더에 공유 가중치를 갖는 시암쌍 아키텍처를 사용하고 두 문장 표현을 관계 벡터로 결합.
• 문장 표현에 대해 세 가지 매칭 연산을 적용: 연결(concatenation), 요소별 곱, 요소별 차이, 비선형 투영을 통한 소프트맥스 분류.
• Y를 biLSTM 출력, R_ave를 평균 풀링에서 얻고 어텐션을 M = tanh(W^y Y + W^h (R_ave ⊗ e_L))로 계산하며, α = softmax(w^T M); R_att = Y α^T.
• 정확도에 미치는 영향을 보고하기 위해 네 가지 입력 전략(Original, Inverting Premises, Doubling Premises, Doubling Hypothesis, Differentiating Inputs)을 탐구.
• SNLI에서 교차 엔트로피 손실로 학습하고, 미니배치 SGD(RMSProp), 드롭아웃(0.25), 훈련 중 고정된 GloVe 300D 임베딩; Keras로 구현

실험 결과

연구 질문

• RQ1 문장 자체의 내부 어텐션이 교차 문장 어텐션 없이도 문장 인코딩 기반 NLI 모델의 성능을 향상시킬 수 있는가?
• RQ2 제안된 내부 어텐션이 표준 평균 풀링 인코더 및 다른 베이스라인과 비교하여 SNLI에서 어떤 차이를 보이는가?
• RQ3 입력 수정 전략이 가벼운 문장 인코딩 모델의 성능을 더 높일 수 있는가?
• RQ4 이 접근 방식에서 모델 크기(파라미터 수)가 정확도에 어떤 영향을 미치는가?

주요 결과

모델	Params	Test Acc.
LSTM enc	3.0M	80.6%
GRU enc	15M	81.4%
TBCNN enc	3.5M	82.1%
SPINN enc	3.7M	83.2%
Basic model	2.0M	83.3%
+ Inner-Attention	2.8M	84.2%
+ Diversing Input	2.8M	85.0%
Static-Attention	242K	82.4%
WbW-Attention	252K	83.5%

• 내부 어텐션 메커니즘이 기본 모델의 SNLI 테스트 정확도 83.3%에서 84.2%로 향상시켰다.
• 입력 차별화는 추가 향상을 가져와 83.72%에 도달하고, 내부 어텐션과 결합하면 최대 85.0%까지 보고된다.
• 내부 어텐션 및 입력 전략을 갖춘 제안 모델은 파라미터가 더 적은 상태에서 LSTM/GRU 인코더, TBCNN, SPINN 등 여러 최첨단 문장 인코딩 베이스라인을 능가한다.
• 가장 좋은 단일 구성(다양화된 입력)은 SNLI에서 테스트 정확도 85.0%에 도달하여 유사한 문장 인코딩 모델을 상회한다.
• 내부 어텐션은 내용 단어(명사, 동사, 형용사)에 더 높은 가중치를 부여하는 경향이 있어 더 집중된 문장 표현을 생성한다.