[논문 리뷰] Natural Language Inference over Interaction Space

Yichen Gong, Heng Luo외 1명|arXiv (Cornell University)|2017. 09. 13.

Topic Modeling참고 문헌 26인용 수 192

한 줄 요약

이 논문은 Interactive Inference Network (IIN)과 그 밀도 인스턴스 DIIN을 제안하여 문장 간 상호작용을 상호작용 텐서로 모델링한다; DIIN은 SNLI와 MultiNLI에서 최첨단 NLI 성능 및 Quora 문장 유사성 인식에서 강력한 성과를 보인다.

ABSTRACT

Natural Language Inference (NLI) task requires an agent to determine the logical relationship between a natural language premise and a natural language hypothesis. We introduce Interactive Inference Network (IIN), a novel class of neural network architectures that is able to achieve high-level understanding of the sentence pair by hierarchically extracting semantic features from interaction space. We show that an interaction tensor (attention weight) contains semantic information to solve natural language inference, and a denser interaction tensor contains richer semantic information. One instance of such architecture, Densely Interactive Inference Network (DIIN), demonstrates the state-of-the-art performance on large scale NLI copora and large-scale NLI alike corpus. It's noteworthy that DIIN achieve a greater than 20% error reduction on the challenging Multi-Genre NLI (MultiNLI) dataset with respect to the strongest published system.

연구 동기 및 목표

• NLI에서 상호작용 공간을 사용하여 문장 간 고차원 의미를 포착하는 동기를 제시한다.
• 상호작용 공간에서 계층적 특징 추출을 위한 Interactive Inference Network (IIN) 프레임워크를 제안한다.
• 상호작용 텐서에 대해 밀집하게 상호작용하는 DIIN을 구현하여 컨볼루션 특징 추출기를 이용한다.
• SNLI 및 MultiNLI 데이터세트에서 최첨단 결과를 보여주고 문장 유사성 태스크에서 경쟁력 있는 성능을 보인다.
• DIIN의 개별 구성 요소의 기여를 식별하기 위한 ablation 분석을 제공한다.

제안 방법

• Premise와 Hypothesis 표현 간 단어 대 단어 상호작용으로 상호작용 텐서 I를 구성한다.
• 하이웨이 네트워크와 self-attention으로 구성된 인코딩 레이어를 사용해 정제된 Premise P^enc 및 Hypothesis H^enc 표현을 생성한다.
• 선택된 beta로 I_ij = beta(P̃_i, H̃_j)를 계산한다(예: 원소별 곱).
• DenseNet 기반의 특징 추출기를 상호작용 텐서에 적용해 고수준 의미 특징을 학습한다.
• 선형 분류기로 결과 특징을 디코딩하여 entailment/neutral/contradiction을 예측한다.
• DIIN에서 단어 표현을 단어 임베딩, 문자 특징, 구문/정확일치 특징으로 보강하고; Adadelta/SGD 스케줄로 학습하며; 드롭아웃과 L2 정규화를 사용하고; DenseNet 처리 전에 1x1 합성곱으로 I를 다운스케일한다.

실험 결과

연구 질문

• RQ1 문장 간 상호작용을 상호작용 텐서로 모델링하는 것이 NLI 성능을 문장 인코딩 방식보다 향상시킬 수 있는가?
• RQ2 상호작용 공간에 대한 밀집 연결 합성곱 특징 추출기가 NLI에 더 풍부한 의미 특징을 포착하는가?
• RQ3 정확일치 및 문자/구문 특징이 상호작용 공간 프레임워크에서 NLI 성능에 어떤 기여를 하는가?
• RQ4 DIIN은 SNLI, MultiNLI, Quora 문장 유사 태스크에서 이전 최첨단 모델과 비교해 어떤 성능을 보이는가?
• RQ5 자기 주의, 융합 게이트, 밀집 상호작용 텐서의 역할에 대한 ablation 연구에서 어떤 통찰을 얻을 수 있는가?

주요 결과

모델	매칭	매칭되지 않음
BiLSTM (Williams et al., 2017)	67.0	67.6
InnerAtt (Balazs et al., 2017)	72.1	72.1
ESIM (Williams et al., 2017)	72.3	72.1
Gated-Att BiLSTM (Chen et al., 2017b)	73.2	73.6
Shorcut-Stacked encoder (Nie & Bansal, 2017)	74.6	73.6
DIIN	78.8	77.8
InnerAtt (ensemble)	72.2	72.8
Gated-Att BiLSTM (ensemble)	74.9	74.9
DIIN (ensemble)	80.0	78.7

• DIIN은 MultiNLI에서 최첨단 성능을 달성한다(매칭: 78.8, 매칭되지 않음: 77.8) 및 SNLI에서 앙상블 88.9로 최첨단 성능.
• MultiNLI에서 DIIN은 단일 모델(78.8/77.8) 및 앙상블(80.0/78.7) 결과로 기존 방법을 능가한다.
• SNLI에서 DIIN은 88.0(단일) 및 88.9(앙상블) 정확도에 도달한다.
• Quora 문장 유사성 검출에서 DIIN은 89.06 테스트 정확도(단일) 및 89.84(앙상블)를 달성한다.
• ablation은 정확일치 특성, 합성곱 구조, 인코딩 레이어, 자기 주의, 그리고 fuse 게이트가 모두 성능에 기여하며 구성 요소를 제거하면 성능이 저하된다.
• 시각화는 상호작용 텐서가 채널 전반에 걸쳐 다양한 의미 패턴을 포착한다는 것을 시사하며 상호작용 공간에 풍부한 의미 정보가 있음을 뒷받침한다.