[논문 리뷰] Reasoning about Entailment with Neural Attention

Tim Rocktäschel, Edward Grefenstette외 3명|arXiv (Cornell University)|2015. 09. 22.

Natural Language Processing Techniques인용 수 406

한 줄 요약

이 논문은 전제와 가설 간의 의미 관계를 추론하기 위해 이원방향 LSTM와 단어별 주의 메커니즘을 결합한 새로운 엔드 투 엔드 미분 가능한 신경망을 제안한다. 전제의 최종 셀 상태에 따라 가설 LSTMs를 조건화하고 전제의 모든 은닉 상태를 주시함으로써, SNLI 데이터셋에서 83.5%의 정확도를 달성하며 강력한 기준 모델인 LSTM과 어휘 유사도 분류기보다 뛰어나며, 주의 시각화를 통해 해석 가능성과 함께 최신 기술 수준의 성능을 입증한다.

ABSTRACT

While most approaches to automatically recognizing entailment relations have used classifiers employing hand engineered features derived from complex natural language processing pipelines, in practice their performance has been only slightly better than bag-of-word pair classifiers using only lexical similarity. The only attempt so far to build an end-to-end differentiable neural network for entailment failed to outperform such a simple similarity classifier. In this paper, we propose a neural model that reads two sentences to determine entailment using long short-term memory units. We extend this model with a word-by-word neural attention mechanism that encourages reasoning over entailments of pairs of words and phrases. Furthermore, we present a qualitative analysis of attention weights produced by this model, demonstrating such reasoning capabilities. On a large entailment dataset this model outperforms the previous best neural model and a classifier with engineered features by a substantial margin. It is the first generic end-to-end differentiable system that achieves state-of-the-art accuracy on a textual entailment dataset.

연구 동기 및 목표

• 수동으로 설계된 언어적 특징에 의존하지 않는 일반적인 엔드 투 엔드 미분 가능한 신경 모델을 개발하기 위해.
• 전제와 가설을 별도로 인코딩하는 기존 신경 모델을 향상시키기 위해 전제의 은닉 상태에 기반한 조건부 인코딩을 도입하기 위해.
• 전제의 은닉 상태에 대해 단어별 주의 메커니즘을 통해 문장 쌍 간의 의미 관계를 향상시킬 수 있도록 추론 능력을 향상시키기 위해.
• 주의 패턴의 정성적 해석 가능성을 제공하여 모델이 추론, 모순, 동의어 관계를 포착할 수 있는 능력을 검증하기 위해.
• 일반적인 시퀀스에서 시퀀스로 아키텍처를 사용하여 스탠포드 자연어 추론(SNLI) 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 전제와 가설을 별도로 이원방향 LSTMs로 인코딩하며, 가설 LSTMs를 전제 LSTMs의 최종 셀 상태에 따라 조건화한다.
• 전제의 모든 은닉 상태에 대해 주의 가중치를 계산하는 소프트 주의 메커니즘을 적용하여 가설을 처리할 때 관련 있는 단어와 어구에 집중한다.
• 가설의 각 단어와 전제의 모든 은닉 상태 간의 주의 점수를 계산하여 단어별 주의 메커니즘을 구현함으로써 세밀한 정렬을 가능하게 한다.
• 가설 LSTMs의 최종 은닉 상태를 비선형 투영하여 소프트맥스 분류기로 변환하여 추론, 중립, 모순 클래스를 예측한다.
• 교차 엔트로피 손실을 사용하여 전체 모델을 엔드 투 엔드로 훈련하며, 어휘 내 단어에는 고정된 word2vec 임베딩을, 어휘 외 단어에는 학습 가능한 임베딩을 사용한다.
• 전제와 가설을 모두 주시할 수 있도록 이중 주의를 허용하지만, 이는 성능 향상에 기여하지는 않는다.

실험 결과

연구 질문

• RQ1 미분 가능한 엔드 투 엔드 신경망에 주의 메커니즘을 도입하면 기존의 특징 기반 분류기보다 텍스트 추론에서 더 뛰어난 성능을 낼 수 있는가?
• RQ2 전제의 은닉 상태에 기반해 가설 LSTMs를 조건화하면 문장 쌍 간의 의미 관계 추론 능력이 향상되는가?
• RQ3 전제의 은닉 상태에 대해 단어별 주의 메커니즘을 적용하면 단어 및 어구 수준에서 추론, 모순, 동의어 관계를 탐지하는 데 모델의 능력이 향상되는가?
• RQ4 주의 가중치는 실제 예시에서 동의어, 모순, 동의어 관계와 같은 의미적 관계를 어떻게 반영하는가?
• RQ5 이중 주의(전제와 가설 양쪽을 주시)는 성능 향상에 기여하는가, 아니면 추론의 비대칭성으로 인해 그 기여가 제한되는가?

주요 결과

• 제안된 모델은 SNLI 데이터셋에서 83.5%의 정확도를 달성하여 이 벤치마크에서 신경 모델의 새로운 최신 기술 수준의 성능을 확립한다.
• 강력한 기준 모델인 LSTM(80.9%)보다 2.6%p 높고, 어휘 유사도 분류기보다 2.7%p 높다.
• 전체 전제 은닉 상태에만 주의를 기울이는 것보다 단어별 주의가 1.2%p 향상된 성능을 기록한다.
• 정성적 분석 결과, 모델은 'riding'과 'rides'와 같은 의미적으로 일관된 단어, 'blue'와 'pink'와 같은 모순어, 'garbage can'과 'trashcan'과 같은 동의어에 정확히 주의를 기울인다.
• 모델은 'which also has a rope leading out of it'와 같은 정보가 없는 어구를 무시하여 노이즈에 대한 강건성을 보이며, 추론 판단에 영향을 주지 않는다는 것을 확인한다.
• 주의 패턴은 모델이 'kids'가 'boy'과 'girl'로 분리되는 일对다수 관계를 해결하고, 'snow'가 'outside'를 암시하고, 'mother'가 'adult'를 암시하는 등 일반 지식을 활용할 수 있음을 드러낸다.