[論文レビュー] Learning Natural Language Inference using Bidirectional LSTM model and Inner-Attention

Yang Liu, Chengjie Sun+2 more|arXiv (Cornell University)|May 30, 2016

Topic Modeling参考文献 9被引用数 234

ひとこと要約

文をエンコードするNLIモデルで、内部アテンション機構を備えた双方向LSTMを用いて洗練された文表現を生成し、軽量モデルでのSNLI性能が文エンコード手法の中で最先端を達成。

ABSTRACT

In this paper, we proposed a sentence encoding-based model for recognizing text entailment. In our approach, the encoding of sentence is a two-stage process. Firstly, average pooling was used over word-level bidirectional LSTM (biLSTM) to generate a first-stage sentence representation. Secondly, attention mechanism was employed to replace average pooling on the same sentence for better representations. Instead of using target sentence to attend words in source sentence, we utilized the sentence's first-stage representation to attend words appeared in itself, which is called "Inner-Attention" in our paper . Experiments conducted on Stanford Natural Language Inference (SNLI) Corpus has proved the effectiveness of "Inner-Attention" mechanism. With less number of parameters, our model outperformed the existing best sentence encoding-based approach by a large margin.

研究の動機と目的

• Recognize textual entailment (RTE) を文エンコード手法で重い特徴工学を用いずに動機づけ、解決する。
• 2段階の文エンコードを提案: まず単語レベルのbiLSTM出力の平均プーリングで第一段階の文ベクトルを得て、次に同じ文に対する内側アテンションで refinement を行う。
• 共有重みを持つ Siamese 文エンコーダを用い、前提と仮説の2つの文表現を結合して関係ベクトルを作成し、entailment / contradiction / neutral を分類する。
• 軽量モデルを維持しつつ、入力変更戦略を導入して性能をさらに向上させる。

提案手法

• 各文を2段階のプロセスでエンコードする: (i) 単語レベルの biLSTM 出力に対する平均プーリングで第一段階の文ベクトルを得る, (ii) 第一段階ベクトルを用いた内側アテンション機構を適用して同じ文内の単語に注目し refined 表現を得る。
• 前提と仮説のエンコーダに共有重みを持つ Siamese アーキテクチャを使用; 二つの文の表現を結合して関係ベクトルを作成。
• 文表現に対して三つのマッチング操作を適用: 連結、要素ごとの積、要素ごとの差分、非線形射影上の softmax による分類。
• Y を biLSTM 出力、R_ave を平均プーリングから、アテンションを M = tanh(W^y Y + W^h (R_ave ⊗ e_L)) として計算し、α = softmax(w^T M); R_att = Y α^T。
• 4 つの入力戦略（Original, Inverting Premises, Doubling Premises, Doubling Hypothesis, Differentiating Inputs）を検討し、精度への影響を報告。
• SNLI 上でクロスエントロピー損失、ミニバッチ SGD（RMSProp）、ドロップアウト（0.25）、訓練中固定の GloVe 300D 埋め込みを用いて訓練; Keras で実装。

実験結果

リサーチクエスチョン

• RQ1 文自体に対する内側アテンションは、クロス文のアテンションなしの文エンコード型NLIモデルを改善できるか？
• RQ2 提案する内側アテンションは標準的な平均プーリングのエンコーダや他のベースラインとSNLIでどう比較されるか？
• RQ3 入力変更戦略は軽量な文エンコードモデルの性能をさらに向上させるか？
• RQ4 このアプローチのモデルサイズ（パラメータ数）が精度に与える影響はどれくらいか？

主な発見

モデル	パラメータ	テスト精度
LSTM enc	3.0M	80.6%
GRU enc	15M	81.4%
TBCNN enc	3.5M	82.1%
SPINN enc	3.7M	83.2%
Basic model	2.0M	83.3%
+ Inner-Attention	2.8M	84.2%
+ Diversing Input	2.8M	85.0%
Static-Attention	242K	82.4%
WbW-Attention	252K	83.5%

• 内側アテンション機構は SNLI のテスト精度をベーシックなモデルの 83.3% から 84.2% に改善した。
• Differentiating inputs はさらに 83.72% へ、内側アテンションと組み合わせると最大 85.0% まで向上する（報告通り）。
• 内側アテンションと入力戦略を用いた提案モデルは、LSTM/GRU エンコーダ、TBCNN、SPINN などのいくつかの最新の文エンコードベースのベースラインを、パラメータ数を抑えつつ上回っている。
• 全体として、最良の単一構成（Diversing Input）は SNLI で 85.0% のテスト精度に達し、同等の文エンコードモデルを上回る。
• 内側アテンションは内容語（名詞・動詞・形容詞）に高い重みを割り当て、より焦点を絞った文表現を生み出す傾向がある。