[論文レビュー] Modelling Interaction of Sentence Pair with coupled-LSTMs

Pengfei Liu, Xipeng Qiu+1 more|arXiv (Cornell University)|May 18, 2016

Topic Modeling参考文献 20被引用数 13

ひとこと要約

本稿では、二つの相互に依存するLSTMを用いて文対間の強い双方向的相互作用をモデル化する、深層学習アーキテクチャである結合LSTM（C-LSTM）を提案する。これにより、文脈的で単語およびフレーズレベルの意味的マッチングが可能となる。2つの大規模データセットにおける実験では、テキストマッチングタスクにおいて最先端の手法を上回る性能を発揮し、スタックされたモデルはYahoo! QAで78.5% P@1(5)を達成し、RTEおよびMQAベンチマークにおいても従来のモデルを上回った。

ABSTRACT

Recently, there is rising interest in modelling the interactions of two sentences with deep neural networks. However, most of the existing methods encode two sequences with separate encoders, in which a sentence is encoded with little or no information from the other sentence. In this paper, we propose a deep architecture to model the strong interaction of sentence pair with two coupled-LSTMs. Specifically, we introduce two coupled ways to model the interdependences of two LSTMs, coupling the local contextualized interactions of two sentences. We then aggregate these interactions and use a dynamic pooling to select the most informative features. Experiments on two very large datasets demonstrate the efficacy of our proposed architecture and its superiority to state-of-the-art methods.

研究の動機と目的

• 既存のニューラルモデルにおける弱い、もしくは準強力な相互作用の制限を解消すること。
• 単語およびフレーズレベルで二つの文の間の双方向的で文脈的な相互作用を可能にする深層アーキテクチャを開発すること。
• テキスト帰属関係や質問応答を含む大規模なテキストマッチングタスクにおける性能向上を図ること。
• 過学習や消失勾配の問題を回避しつつ、結合LSTM層をスタックすることでより深いネットワークアーキテクチャを実現すること。
• ネットワーク内で学習された相互作用パターンの可視化を通じて、解釈可能性を提供すること。

提案手法

• 緩く結合された（LC-LSTM）と密に結合された（TC-LSTM）の2種類の結合LSTMメカニズムを導入し、各LSTMの隠れ状態が両方の入力文に依存するように設計する。
• 双方向的な文脈的相互作用を捉えるために、4つの方向性バージョン（フォワード-フォワード、フォワード-バックワード、バックワード-フォワード、バックワード-バックワード）を用いる。
• 4方向の出力を連結して集約し、動的プーリングを適用して最も情報量の多い特徴を選択する。
• 複数の結合LSTM層をスタックすることで、異なる抽象化レベルにおけるマルチスケール相互作用をモデル化する。
• 最終的なマッチングスコアを計算するために、全結合層に続いてソフトマックス出力層を配置する。
• 交差エントロピー損失を用いて、バックプロパゲーションによりエンドツーエンドでモデル全体を訓練する。

実験結果

リサーチクエスチョン

• RQ1 相互に依存するLSTMを備えた深層ニューラルネットワークアーキテクチャは、分離されたエンコーダーと比較して、文対間のより強力で文脈的な相互作用をモデル化できるか？
• RQ2 2つのLSTM間の結合メカニズムは、アテンションベースや類似度行列アプローチと比較して、意味的マッチングタスクにおける性能にどのように影響を与えるか？
• RQ3 複数の結合LSTM層をスタックすることで、大規模なテキストマッチングベンチマークにおける性能が向上するか？
• RQ4 緩い結合と密な結合の戦略、および方向性バージョンの違いが、モデルの精度と一般化性能に与える影響は何か？
• RQ5 モデルは、文対内の単語およびフレーズ間で意味的で解釈可能な相互作用パターンを学習できるか？

主な発見

• 提案された結合LSTMモデルは、Yahoo! QAデータセットで78.5% P@1(5)を達成し、次善の手法（3層のTC-LSTMで77.0%）を顕著に上回った。
• SNLIテキスト帰属関係データセットでは86.1%の精度を達成し、前回の最先端手法を1.2ポイント上回った。
• LC-LSTMsは、より少ないパラメータと過学習の低減により、MQAタスクでTC-LSTMsを上回った。
• LC-LSTMsを3層スタックした場合が最良の性能を示し、さらに深いスタックでは顕著な向上が得られなかったため、モデルの収束が確認された。
• 可視化により、ネットワーク内の個々のニューロンが、文間の意味的で意味のある局所的相互作用を検出していることが明らかになった。
• モデルの対称的アーキテクチャにより、非対称なアテンションベースのモデルに見られる順序に依存する問題が回避され、より高い耐障害性と解釈可能性が向上した。