[論文レビュー] Natural Language Inference over Interaction Space

Yichen Gong, Heng Luo+1 more|arXiv (Cornell University)|Sep 13, 2017

Topic Modeling参考文献 26被引用数 192

ひとこと要約

本論文はインタラクティブ推論ネットワーク（IIN）とその密な実装であるDIINを提案し、文間の相互作用を相互作用テンソルとしてモデル化する。DIINはSNLIとMultiNLIで最先端のNLI性能を達成し、Quoraの paraphrase検出でも高い性能を示す。

ABSTRACT

Natural Language Inference (NLI) task requires an agent to determine the logical relationship between a natural language premise and a natural language hypothesis. We introduce Interactive Inference Network (IIN), a novel class of neural network architectures that is able to achieve high-level understanding of the sentence pair by hierarchically extracting semantic features from interaction space. We show that an interaction tensor (attention weight) contains semantic information to solve natural language inference, and a denser interaction tensor contains richer semantic information. One instance of such architecture, Densely Interactive Inference Network (DIIN), demonstrates the state-of-the-art performance on large scale NLI copora and large-scale NLI alike corpus. It's noteworthy that DIIN achieve a greater than 20% error reduction on the challenging Multi-Genre NLI (MultiNLI) dataset with respect to the strongest published system.

研究の動機と目的

• NLIにおける相互作用空間の活用を動機づけ、文間セマンティクスの高次性を捉える。
• 相互作用空間からの階層的特徴抽出のためのインタラクティブ推論ネットワーク（IIN）フレームワークを提案する。
• 相互作用テンソル上の密な結合変換を活用する密なインタラクティブ変種（DIIN）を実装する。
• SNLIとMultiNLIデータセットで最先端の結果を示し、パラフレーズタスクで競争力のある性能を示す。
• DIINの個々の要素の寄与を特定するアブレーション分析を提供する。

提案手法

• 前提と仮説の表現間で語彚ごとの相互作用により相互作用テンソルIを構築する。
• エンコーディング層をヒュウェイ・ネットワークと自己注意機構で用いて、精練された前提P^encと仮説H^enc表現を生成する。
• I_ij = beta(P̃_i, H̃_j)を、選択したbeta（例：要素ごとの積）で計算する。
• DenseNetベースの特徴抽出器を相互作用テンソル上で適用し、高レベルの意味特徴を学習する。
• 得られた特徴を線形分類器でデコードし、含意/中立/矛盾を予測する。
• DIINでは、語彙表現に語彙埋め込み、文字特徴、統語的/正確一致特徴を追加し、Adadelta/SGDスケジュールで訓練し、ドロップアウトとL2正則化を用い、DenseNet処理前にIを1x1畳み込みでダウンスケールする。

実験結果

リサーチクエスチョン

• RQ1 相互作用テンソルによる文間相互作用のモデリングは、文Encodingアプローチを超えるNLI性能の向上をもたらすか。
• RQ2 相互作用空間上の密な結合畳み込み特徴抽出器は、NLIのより豊かな意味特徴を捉えるか。
• RQ3 正確一致および文字/統語的特徴の寄与は、相互作用空間フレームワークのNLI性能にどのように影響するか。
• RQ4 DIINはSNLI、MultiNLI、Quora paraphraseタスクで、従来の最先端モデルと比較してどの程度の性能を示すか。
• RQ5 自己注意、融合ゲート、密な相互作用テンソルの役割についてのアブレーション研究からどのような洞察が得られるか。

主な発見

モデル	一致	不一致
BiLSTM (Williams et al., 2017)	67.0	67.6
InnerAtt (Balazs et al., 2017)	72.1	72.1
ESIM (Williams et al., 2017)	72.3	72.1
Gated-Att BiLSTM (Chen et al., 2017b)	73.2	73.6
Shorcut-Stacked encoder (Nie & Bansal, 2017)	74.6	73.6
DIIN	78.8	77.8
InnerAtt (ensemble)	72.2	72.8
Gated-Att BiLSTM (ensemble)	74.9	74.9
DIIN (ensemble)	80.0	78.7

• DIINはMultiNLI（matched: 78.8, mismatched: 77.8）およびSNLI（ensemble: 88.9）で最先端の性能を達成している。
• MultiNLIでは、単一モデル（78.8/77.8）およびアンサンブル（80.0/78.7）で従来手法を上回る。
• SNLIでは、DIINは単一モデルで88.0、アンサンブルで88.9の精度に到達。
• Quora paraphrase検出では、DIINはテスト精度89.06（単一）および89.84（アンサンブル）を達成。
• アブレーション結果は、正確一致特徴、畳み込み構造、エンコーディング層、自己注意、および融合ゲートが性能に寄与しており、要素を取り除くと結果が低下することを示している。
• 可視化から、相互作用テンソルが複数のチャネルにまたがる多様な意味パターンを捉えており、相互作用空間が豊富な意味情報を含むという主張を裏付けている。