[論文レビュー] Reasoning about Entailment with Neural Attention

Tim Rocktäschel, Edward Grefenstette+3 more|arXiv (Cornell University)|Sep 22, 2015

Natural Language Processing Techniques被引用数 406

ひとこと要約

この論文は、前提文と仮説文の間の意味的関係を推論するために、双方向LSTMと単語ごとのアテンションを組み合わせた、テキスト entailment のための新規なエンドツーエンド微分可能なニューラルネットワークを提案する。仮説LSTMを前提文の最終セル状態に条件づけることで、前提文の全隠れ状態にアテンションを適用し、SNLIデータセット上で83.5%の精度を達成した。これは強力なベースラインLSTM（80.9%）と語彙的類似度分類器を上回り、アテンション可視化による解釈可能性を併せ持つ最先端の性能を示している。

ABSTRACT

While most approaches to automatically recognizing entailment relations have used classifiers employing hand engineered features derived from complex natural language processing pipelines, in practice their performance has been only slightly better than bag-of-word pair classifiers using only lexical similarity. The only attempt so far to build an end-to-end differentiable neural network for entailment failed to outperform such a simple similarity classifier. In this paper, we propose a neural model that reads two sentences to determine entailment using long short-term memory units. We extend this model with a word-by-word neural attention mechanism that encourages reasoning over entailments of pairs of words and phrases. Furthermore, we present a qualitative analysis of attention weights produced by this model, demonstrating such reasoning capabilities. On a large entailment dataset this model outperforms the previous best neural model and a classifier with engineered features by a substantial margin. It is the first generic end-to-end differentiable system that achieves state-of-the-art accuracy on a textual entailment dataset.

研究の動機と目的

• 手動で設計された言語的特徴に依存しない、汎用的でエンドツーエンド微分可能なテキスト entailment モデルの開発。
• 前提文と仮説文を独立して符号化する従来のニューラルモデルを改善するため、前提文の隠れ状態に基づく条件付き符号化を導入すること。
• 前提文の隠れ状態に対して単語ごとのアテンション機構を用いることで、文のペア間の意味的関係の推論を強化すること。
• アテンションパターンの定性的な解釈可能性を提供し、モデルが entailment、矛盾、並び替え関係を正しく捉えられる能力を検証すること。
• 汎用的なシーケンス・ツー・シーケンスアーキテクチャを用いて、スタンフォード自然言語推論（SNLI）データセットで最先端の性能を達成すること。

提案手法

• 前提文と仮説文を別々に符号化するため、双方向LSTMを用い、仮説LSTMを前提文LSTMの最終セル状態に条件づける。
• 前提文の全隠れ状態にわたるソフトアテンション機構を適用し、仮説を処理する際に関連する語やフレーズに注目する。
• 各仮説語と前提文の全隠れ状態との間でアテンションスコアを計算することで、単語単位のアテンションを実現し、細かく調整されたアライメントを可能にする。
• 仮説LSTMの最終隠れ状態を非線形変換し、softmax分類器に接続して、entailment、neutral、contradictionの3クラスを予測する。
• 交差エントロピー損失を用いて、語彙内語には固定されたword2vec埋め込み、語彙外語には学習可能な埋め込みを用いて、モデル全体をエンドツーエンドで学習する。
• 前提文と仮説文の両方に対してアテンションを可能にする二重方向アテンションを実装したが、性能向上には寄与しなかった。

実験結果

リサーチクエスチョン

• RQ1 微分可能でエンドツーエンドのニューラルネットワークにアテンション機構を組み合わせることで、従来の特徴ベース分類器を上回ることができるか？
• RQ2 前提文の隠れ状態に条件づけた仮説LSTMは、文のペア間の意味的関係の推論を向上させることができるか？
• RQ3 前提文の隠れ状態に対する単語ごとのアテンションは、語やフレーズレベルでの entailment、矛盾、並び替え関係の検出能力を向上させることができるか？
• RQ4 アテンション重みは、実際の例において、類義語、矛盾語、並び替え語のような意味的関係をどのように反映しているか？
• RQ5 両方向アテンション（前提文と仮説文の両方を参照）は性能向上に寄与するか、それとも entailment の非対称性がその利点を制限するか？

主な発見

• 提案モデルはSNLIデータセットで83.5%の精度を達成し、このベンチマークにおけるニューラルモデルの新たな最先端性能を確立した。
• 強力なベースラインLSTM（80.9%）を2.6ポイント、語彙的類似度分類器を2.7ポイント上回った。
• 最終隠れ状態へのアテンションのみに比べ、単語ごとのアテンションにより1.2ポイントの性能向上が得られた。
• 定性的な分析から、モデルは「riding」と「rides」のような意味的に整合性のある語、「blue」と「pink」のような矛盾語、および「garbage can」と「trashcan」のような並び替え語を正しく注目していることがわかった。
• エンタイルメントを決定する際、『which also has a rope leading out of it』のような情報のないフレーズを効果的に無視しており、ノイズに強く、ロバストであることが示された。
• アテンションパターンから、モデルが1対多の関係（例：「kids」が「boy」と「girl」に分解される）を処理でき、また「snow」が「outside」を示唆し、「mother」が「adult」を示唆するような常識的知識を活用できることも明らかになった。