[論文レビュー] Shortcut-Stacked Sentence Encoders for Multi-Domain Inference

Yixin Nie, Mohit Bansal|arXiv (Cornell University)|Aug 7, 2017

Topic Modeling参考文献 13被引用数 37

ひとこと要約

本論文は、多ドメイン自然言語推論のための単純ながら効果的なショートカット接続付き双方向LSTM文エンコーダーを提案する。各層がすべての以前の層および単語埋め込みをショートカット接続で受けることで、より深い表現学習が可能になる。このモデルは、EMNLP RepEval 2017 Multi-NLI共有タスクにおいて非アンサンブル単一モデルとして最良の性能を達成し、SNLIデータセットにおいてもエンコーディングベースのモデルで新たなSOTAを樹立した。

ABSTRACT

We present a simple sequential sentence encoder for multi-domain natural language inference. Our encoder is based on stacked bidirectional LSTM-RNNs with shortcut connections and fine-tuning of word embeddings. The overall supervised model uses the above encoder to encode two input sentences into two vectors, and then uses a classifier over the vector combination to label the relationship between these two sentences as that of entailment, contradiction, or neural. Our Shortcut-Stacked sentence encoders achieve strong improvements over existing encoders on matched and mismatched multi-domain natural language inference (top non-ensemble single-model result in the EMNLP RepEval 2017 Shared Task (Nangia et al., 2017)). Moreover, they achieve the new state-of-the-art encoding result on the original SNLI dataset (Bowman et al., 2015).

研究の動機と目的

• 注意機構や文法構造に依存せずに、多ドメイン自然言語推論のための文エンコーディングを改善すること。
• より深い、ショートカット接続付きの双方向LSTMアーキテクチャが、多様なドメインにわたる一般化性能を向上させるかどうかを調査すること。
• 単純でパラメータ効率の良いアーキテクチャを用いて、自然言語推論でSOTAの性能を達成すること。

提案手法

• モデルは、すべての以前の層の出力および元の単語埋め込みをショートカット接続で次の各層に供給するスタックされた双方向LSTM層を用いる。
• 各双方向LSTM層の時刻tにおける入力は、単語埋め込みと、すべての先行層の出力の連結であり、豊富な勾配伝播と特徴の再利用を可能にする。
• 最終的な文表現は、最後の双方向LSTM層の隠れ状態に対して最大プーリングを適用することで得られる。
• 単語埋め込みは、訓練中にエンドツーエンドで微調整され、NLIタスクに適応する。
• 共通のシアンズ型エンコーダーが、前提文と仮説文の両方を固定長のベクトルに変換する。
• 2層のReLU分類器を、2つの文ベクトルの連結に適用し、3クラス分類（含意、矛盾、中立）を実行する。

実験結果

リサーチクエスチョン

• RQ1 より深い、ショートカット接続付きの双方向LSTMアーキテクチャは、標準の単層またはスタックされた双方向LSTMエンコーダーと比較して、多ドメイン自然言語推論で優れた性能を発揮できるか？
• RQ2 双方向LSTM層間のリサidual型ショートカット接続の導入が、ドメイン内およびドメイン外のNLIタスクにおける一般化性能を向上させるか？
• RQ3 事前学習済み単語埋め込みのエンドツーエンド微調整が、多ドメイン設定においてどの程度性能向上に寄与するか？
• RQ4 SNLIおよびMulti-NLIにおいて、提案されたエンコーダーは、精度とパラメータ効率の観点から、SOTAモデルと比較してどのように差をつけるか？

主な発見

• ショートカット接続付きのスタックされた双方向LSTMモデルは、Multi-NLIのマッチドおよびミスマッチドテストセットにおいて、単層のbiLSTM-Maxエンコーダーと比較して3%の精度向上を達成した。
• このモデルは、EMNLP RepEval 2017 Multi-NLI共有タスクで非アンサンブル単一モデルとして最高の結果を出した。
• SNLIデータセットでは、すべての以前のエンコーディングベースのモデルを上回り、新たなSOTA結果を樹立した。
• アブレーションスタディの結果、ショートカット接続は標準の3層スタックされた双方向LSTMと比較して約1.5%の精度向上をもたらした。
• ショートカット接続をリサidual接続に置き換えることで、モデルサイズを約20%削減しながらも、同等の性能を維持でき、970万パラメータの300次元モデルがSNLIで85.7%のテスト精度を達成した。
• 単語埋め込みの微調整は、ドメイン内およびクロスドメインの両設定で一貫した性能向上をもたらした。