[論文レビュー] A Decomposable Attention Model for Natural Language Inference

Ankur P. Parikh, Oscar Täckström+2 more|arXiv (Cornell University)|Jun 6, 2016

Topic Modeling参考文献 24被引用数 63

ひとこと要約

この論文は、ソフトアテンション機構を用いて独立かつ並列な部分問題に分解することで、自然言語推論(NLI)のタスクを単純化する分解型アテンションモデルを導入する。SNLIデータセットにおいて、従来のLSTMベースのモデルと比較してほぼ10倍少ないパラメータで最先端の性能を達成し、語順に依存する部分を最小限に抑え、効率的で軽量なアーキテクチャにより優れた一般化性能を示している。

ABSTRACT

We propose a simple neural architecture for natural language inference. Our approach uses attention to decompose the problem into subproblems that can be solved separately, thus making it trivially parallelizable. On the Stanford Natural Language Inference (SNLI) dataset, we obtain state-of-the-art results with almost an order of magnitude fewer parameters than previous work and without relying on any word-order information. Adding intra-sentence attention that takes a minimum amount of order into account yields further improvements.

研究の動機と目的

• 複雑な逐次モデリングを回避する、軽量で効率的なニューラルアーキテクチャを自然言語推論のために開発すること。
• アテンション機構を用いてNLIタスクを独立かつ並列な部分問題に分解することで、推論性能を向上させること。
• SNLIベンチマークでの正確性を維持または向上させつつ、語順情報への依存度を低減すること。
• モデルの複雑さを増さずに局所的なサブ構造表現を強化するための文内アテンションの有効性を検討すること。

提案手法

• モデルは3段階のアーキテクチャを採用する： Attend（前提文と仮説の単語埋め込み間のソフトアテンションを計算）、Compare（対応する単語ペアのペアワイズ類似度ベクトルを計算）、Aggregate（類似度をフィードフォワードネットワークを用いて統合し、最終的な予測を出力）。
• ソフトアテンションは、単語埋め込み間の二重線形相互作用を用いて計算され、アライメントスコアの行列を生成し、比較のガイドラインを提供する。
• Compare段階では、各対応する単語ペアに対してフィードフォワードネットワークを適用し、位置ごとの独立した相互作用特徴ベクトルを生成する。
• Aggregate段階では、比較ベクトルをフィードフォワードネットワークに通して、3クラス（含意、矛盾、中立）の最終予測を出力する。
• 文内アテンション機構は、Attend段階の前に入力され、最小限の文脈情報を用いて局所表現を強化する。
• モデルは、ドロップアウト正則化と固定されたGloVe埋め込みを用い、Adagradを用いてエンドツーエンドで訓練され、トレーニング中にプロジェクション層が微調整される。

実験結果

リサーチクエスチョン

• RQ1 単純な分解型アテンション機構は、LSTMのような複雑な逐次モデルを上回ることができるか？
• RQ2 語順やグローバルな文表現への依存度を低くすることで、性能を維持または向上させられるか？
• RQ3 最小限の文内アテンションを追加することで、モデルの複雑さを増さずにNLIタスクの性能が向上するか？
• RQ4 大幅に少ないパラメータ数を持つモデルが、SNLIベンチマークで最先端の結果を達成できるか？

主な発見

• 基本的な分解型モデルは、SNLIテストセットで84.4％の正確性を達成し、発表当時、新たな最先端性能を樹立した。
• モデルはたった150万パラメータしか使用せず、従来のLSTMベースの最先端モデルと比べてほぼ10倍少ない。
• 文内アテンションを追加することで、性能は84.9％まで向上し、さらに最先端性能を更新した。
• 中立ペアおよび含意ペアにおいて優れた性能を示し、主に中立ペアの予測精度向上が顕著であった。
• 「close」と「open」のような微細な語彙的不一致を含む矛盾ペアでは困難を示し、微細な意味的不適合性を検出する能力に限界があることが示された。
• 誤差解析から、順序付けられた推論や数値推論を要する例では、語順が本質的でない場合でもモデルが失敗することが判明し、局所的構成の能力向上の必要性が示された。