[論文レビュー] Recurrent Neural Network-Based Sentence Encoder with Gated Attention for Natural Language Inference

Qian Chen, Xiaodan Zhu+4 more|arXiv (Cornell University)|Aug 4, 2017

Topic Modeling参考文献 10被引用数 22

ひとこと要約

本論文は、自然言語推論（NLI）のための再帰的ニューラルネットワークベースの文エンコーダーを提案し、ゲート付きアテンションを組み合わせることで、RepEval 2017およびSNLIベンチマークの両方で最先端の性能を達成した。文内のゲート付きアテンションをスタックド双向LSTMアーキテクチャに統合し、文字レベルおよび語彙レベルの埋め込みを用いることで、RepEval 2017のドメイン内およびドメイン外テストセットでそれぞれ74.9%の精度を達成し、クロスセンテンスアテンションを用いない場合にSNLIで85.5%の精度を達成した。これは、従来の文エンコーダー専用モデルを上回る結果である。

ABSTRACT

The RepEval 2017 Shared Task aims to evaluate natural language understanding models for sentence representation, in which a sentence is represented as a fixed-length vector with neural networks and the quality of the representation is tested with a natural language inference task. This paper describes our system (alpha) that is ranked among the top in the Shared Task, on both the in-domain test set (obtaining a 74.9% accuracy) and on the cross-domain test set (also attaining a 74.9% accuracy), demonstrating that the model generalizes well to the cross-domain data. Our model is equipped with intra-sentence gated-attention composition which helps achieve a better performance. In addition to submitting our model to the Shared Task, we have also tested it on the Stanford Natural Language Inference (SNLI) dataset. We obtain an accuracy of 85.5%, which is the best reported result on SNLI when cross-sentence attention is not allowed, the same condition enforced in RepEval 2017.

研究の動機と目的

• クロスセンテンスアテンション機構に依存しない高精度な文エンコーダーモデルの開発を目的とする。
• 文エンコーダーに基づくモデルの潜在的性能が、特にアテンションベースのモデルと比較して十分に発揮されているかどうかを調査することを目的とする。
• 双向LSTMフレームワーク内に新規の文内ゲート付きアテンション機構を導入することで、文表現の質を向上させることを目的とする。
• ドメイン内およびドメイン外のNLIデータセットにおける汎化性能を評価することを目的とする。
• 前提文と仮説文の間のアテンションを必要としない、NLIにおける文エンコーディングの強力なベースラインを確立することを目的とする。

提案手法

• 未知語や語彙素の一般化を向上させるために、文字レベルのCNN埋め込みと事前学習済みGloVe語彙埋め込みをハイブリッドで組み合わせた表現を採用する。
• ショートカット接続を備えたスタックド双向LSTMを用い、前提文および仮説文のシーケンスを文脈的な隠れ状態に符号化する。
• 入力ゲート、フォルグゲート、出力ゲートを用いて、各文内での重要な語に焦点を当てる新しい文内ゲート付きアテンション機構を導入する。
• 符号化された前提文および仮説文表現の間に要素ごとの積演算と絶対差演算を適用し、相互作用のパターンを捉える。
• 結合された文表現に基づいて、帰納、矛盾、中立のラベルを予測するための最終分類器ヘッド（ソフトマックス層）を用いる。
• 異なるランダム初期化で訓練された5つのモデルを平均化することでモデルアンサンブルを適用し、頑健性と性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 文エンコーダー専用モデルが、クロスセンテンスアテンションを用いずに自然言語推論で最先端の性能を達成できるか？
• RQ2 文内ゲート付きアテンションは、NLIタスクにおける文表現の質を向上させるのにどの程度有効か？
• RQ3 文字レベルの構成と事前学習済み語彙埋め込みは、ドメイン外データにおけるモデルの一般化にどの程度寄与するか？
• RQ4 提案されたモデルは、既存の文エンコーダー・モデルと比較して、ドメイン外NLIベンチマークにおいても良好に一般化するか？
• RQ5 ゲート付きアテンション、文字CNN、語彙埋め込みなどの異なるアーキテクチャ的要素が、全体の性能に果たす相対的寄与度はどの程度か？

主な発見

• 提案モデルは、RepEval 2017共有タスクのドメイン内およびドメイン外テストセットでそれぞれ74.9%の精度を達成し、全体で第1位となった。
• クロスセンテンスアテンションを用いない状態でSNLIデータセットに適用した場合、モデルは85.5%の精度を達成し、文エンコーダー専用モデルの中で報告された最高の結果となった。
• ゲート付きアテンション機構を削除すると、ドメイン内では72.8%、ドメイン外では73.6%に性能が低下し、その機構が性能向上に果たす重要性が示された。
• アブレーションスタディの結果、語彙レベルの埋め込みが性能に最も顕著に寄与しており、それを削除すると精度は65.6%および66.0%に低下した。
• 文字レベルの構成と語彙レベルの埋め込みを併用したモデルは、両方の埋め込みを単独で使用したモデルを上回り、相乗効果があることが示された。
• 5つの独立した初期化で訓練されたモデルをアンサンブル化することで、両テストセットで74.9%の精度に向上し、モデル平均化の有効性が確認された。