[論文レビュー] A Deep Architecture for Semantic Matching with Multiple Positional Sentence Representations

Shengxian Wan, Yanyan Lan+4 more|arXiv (Cornell University)|Nov 26, 2015

Topic Modeling参考文献 25被引用数 180

ひとこと要約

本稿では、双方向LSTMを用いて文の異なる位置で複数の文脈に適した文表現を生成することにより、意味的マッチングを向上させる深層ニューラルネットワークアーキテクチャであるMV-LSTMを提案する。k-Maxプーリングと多層パーセプトロンを用いてこれらの位置表現間の相互作用を集約することで、質問応答および文完成タスクにおいて、単一ベクトルおよび複数スケールの手法を上回り、P@1において最大11.4%の相対的改善を達成する。

ABSTRACT

Matching natural language sentences is central for many applications such as information retrieval and question answering. Existing deep models rely on a single sentence representation or multiple granularity representations for matching. However, such methods cannot well capture the contextualized local information in the matching process. To tackle this problem, we present a new deep architecture to match two sentences with multiple positional sentence representations. Specifically, each positional sentence representation is a sentence representation at this position, generated by a bidirectional long short term memory (Bi-LSTM). The matching score is finally produced by aggregating interactions between these different positional sentence representations, through $k$-Max pooling and a multi-layer perceptron. Our model has several advantages: (1) By using Bi-LSTM, rich context of the whole sentence is leveraged to capture the contextualized local information in each positional sentence representation; (2) By matching with multiple positional sentence representations, it is flexible to aggregate different important contextualized local information in a sentence to support the matching; (3) Experiments on different tasks such as question answering and sentence completion demonstrate the superiority of our model.

研究の動機と目的

• 意味的マッチングの過程で局所的な文脈情報を捉えることのできない単一の文表現の限界を解消すること。
• 固定ウィンドウベースの表現に依存する複数スケールモデルが、語句・フレーズの文脈依存的意味を捉えられないという欠点を克服すること。
• 文全体からの豊富な文脈を活用して、マッチングに適した重要なローカル特徴をよりよく特定できる深層アーキテクチャを開発すること。
• 文内の異なる位置間の相互作用を柔軟に集約することで、マッチング精度を向上させること。
• 質問応答や文完成といった実世界のNLPタスクにおいて、提案手法の優位性を示すこと。

提案手法

• 各位置表現は、文の特定の位置に注目する双方向LSTMによって生成され、両方向からの文脈を捉える。
• 最終的なマッチングスコアは、複数の位置表現間の相互作用をコサイン、双線形、またはテンソル演算を用いて集約することで計算される。
• k-Maxプーリングを適用して、最も強い相互作用信号上位k個を選択し、ノイズを低減するとともに顕著な特徴に注目する。
• 多層パーセプトロン（MLP）がプールされた特徴を処理し、最終的なマッチングスコアを出力する。
• バックプロパゲーションと確率的勾配降下法を用いて、モデル全体をエンドツーエンドで学習する。
• 標準ベンチマークを用いて、質問応答および文完成の2つのタスクでモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 単一ベクトル表現と比較して、複数の位置文表現を用いることで意味的マッチングが向上するか？
• RQ2 文全体からの豊富な文脈を活用することで、マッチングにおける文脈依存的ローカル特徴の特定が向上するか？
• RQ3 固定ウィンドウベースの表現に依存する既存の複数スケールアプローチを上回ることができるか？
• RQ4 1つの最良マッチング位置に依存するのではなく、複数の位置間の相互作用を組み合わせることで、より効果的なマッチングが達成できるか？
• RQ5 語彙的重複が少ないタスク、例えば文完成タスクにおいて、モデルはどのように性能を発揮するか？

主な発見

• 文完成タスクにおいて、MV-LSTMは最も強力なベースライン（MultiGranCNN）に対してP@1で11.4%の相対的改善を達成した。
• LSTM-RNNを含むすべての単一ベクトル手法を上回り、複数の位置表現の必要性を示した。
• k = 1よりもk > 1のk-Maxプーリングの方が性能が向上した。これは、マッチングが複数の相互作用によって決定されることを確認した。
• 事例研究では、MV-LSTMが同じ単語（例：「free」）が異なる文脈で異なる意味を持つ場合を正しく区別しているのに対し、MultiGranCNNは誤ってマッチングしていることがわかった。
• 語彙レベルのマッチングに惑わされやすいMultiGranCNNと比較して、MV-LSTMは顕著に優れた性能を示した。
• MV-LSTMは、質問応答および文完成の両タスクでSOTA性能を達成し、多様なNLPタスクにわたる有効性を裏付けた。