[論文レビュー] Syntax-based Attention Model for Natural Language Inference

Pengfei Liu, Xipeng Qiu+1 more|arXiv (Cornell University)|Jul 22, 2016

Topic Modeling参考文献 27被引用数 3

ひとこと要約

本稿では、自然言語推論におけるニューラルアテンションを平坦なシーケンスから構文的木構造へ拡張する構文ベースのアテンションメカニズムを提案する。句構造解析木上でアテンションをモデル化することにより、フレーズレベルのアライメントと解釈可能性が向上し、SNLIベンチマークで最先端の性能を達成し、シーケンスベースのアテンションおよびベースラインモデルと比較して顕著な向上を示した。

ABSTRACT

Introducing attentional mechanism in neural network is a powerful concept, and has achieved impressive results in many natural language processing tasks. However, most of the existing models impose attentional distribution on a flat topology, namely the entire input representation sequence. Clearly, any well-formed sentence has its accompanying syntactic tree structure, which is a much rich topology. Applying attention to such topology not only exploits the underlying syntax, but also makes attention more interpretable. In this paper, we explore this direction in the context of natural language inference. The results demonstrate its efficacy. We also perform extensive qualitative analysis, deriving insights and intuitions of why and how our model works.

研究の動機と目的

• 構文的構造を組み込むことで、自然言語推論におけるニューラルアテンションメカニズムの性能を向上させること。
• 平坦なシーケンスではなく構文木上でアテンションをモデル化することで、より解釈可能で言語学的に根拠のあるアテンションを実現すること。
• 文のペアにおける階層的構文的合成を活用することで、フレーズレベルの意味的マッチングを向上させること。
• SNLIデータセット上で定量的および定性的な分析を通じて、構文に配慮したアテンションの有効性を検証すること。
• 構文の事前知識が意味的マッチングタスクにおける一般化性能を向上させることを示すこと。

提案手法

• モデルは、線形シーケンスではなく句構造解析木上で動作する構文ベースのアテンションメカニズムを採用する。
• 構文的構造を組み込んだ文表現の符号化に、木構造的LSTM（Long Short-Term Memory）ネットワークを適用する。
• 前提文と仮説の解析木の対応するノード間でアテンションを計算し、フレーズ対フレーズのアライメントを可能にする。
• 木構造的表現の情報を統合する微分可能メカニズムを用いてアテンション重みを計算する。
• 三値分類（含意、矛盾、中立）のための交差エントロピー損失関数を用いて、エンドツーエンドでモデルを学習する。
• 構文解析を外部モジュールとして統合し、アテンション計算のトポロジカルな骨格として解析木を用いる。

実験結果

リサーチクエスチョン

• RQ1 構文木上のアテンションメカニズムは、シーケンスベースのアテンションと比較して、自然言語推論の性能向上に寄与するか？
• RQ2 構文ベースのアテンションは、意味的マッチングにおける解釈可能性とフレーズレベルのアライメントをどのように向上させるか？
• RQ3 構文的構造を組み込むことで、並び替えや構文的変化に対する一般化性能はどの程度向上するか？
• RQ4 ベースラインと比較して、モデルはどのような意味的および構文的パターンを学習するか？
• RQ5 平坦なアテンションと比較して、木構造的アテンションは、並び替えや構文的変形をよりよく捉えられるか？

主な発見

• 構文ベースのアテンションモデル（SAT-LSTM）は、SNLIベンチマークで最先端の性能を達成し、シーケンスベースのアテンションおよびベースラインモデルを上回った。
• 定性的分析の結果、SAT-LSTMは「男の子は胸を露出している」と「男の人はシャツを着ていない」といった構造的変化にかかわらず意味を保つ構文的並び替え（例：paraphrase）を最近傍として捉えており、意味の保存が図られていることが示された。
• 所有格のシフトや動詞の副詞の移動といった構文的変形に対しても、モデルは頑健であることが示され、一般化性能の向上が裏付けられた。
• NBOWおよびAT-LSTMベースラインと比較して、SAT-LSTMは意味を保持したまま、より言語学的に整合性があり構文的に多様な最近傍を生成した。
• SAT-LSTMのアテンション機構は、フレーズ間の明示的なアライメントを実現しており、例として「autumn」と「fallen leaves」の対応を明確に捉えている。これは、シーケンスベースのモデルが効果的に捉えられていない。
• SAT-LSTMのアテンションパターンは、任意の語レベルのアライメントではなく、階層的構文的構成を反映しているため、より解釈可能である。