[論文レビュー] Attention-based Pairwise Multi-Perspective Convolutional Neural Network for Answer Selection in Question Answering

Jamshid Mozafari, Mohammad Ali Nematbakhsh+1 more|arXiv (Cornell University)|Sep 3, 2019

Topic Modeling被引用数 4

ひとこと要約

本稿では、質問応答における回答選択のためのアテンションベースのペairワイズマルチペルスペクティブ畳み込みニューラルネットワークを提案する。質問と回答の間の文脈に敏感な相互作用をアテンション機構とワイド畳み込みを用いて活用することで、疑問語への注目を強化する。TrecQA Rawで最先端の性能を達成し、外部の構文解析器やツールを用いないまま、MAPを1.4%、MRRを1.1%向上させる。

ABSTRACT

Over the past few years, question answering and information retrieval systems have become widely used. These systems attempt to find the answer of the asked questions from raw text sources. A component of these systems is Answer Selection which selects the most relevant from candidate answers. Syntactic similarities were mostly used to compute the similarity, but in recent works, deep neural networks have been used, making a significant improvement in this field. In this research, a model is proposed to select the most relevant answers to the factoid question from the candidate answers. The proposed model ranks the candidate answers in terms of semantic and syntactic similarity to the question, using convolutional neural networks. In this research, Attention mechanism and Sparse feature vector use the context-sensitive interactions between questions and answer sentence. Wide convolution increases the importance of the interrogative word. Pairwise ranking is used to learn differentiable representations to distinguish positive and negative answers. Our model indicates strong performance on the TrecQA Raw beating previous state-of-the-art systems by 1.4% in MAP and 1.1% in MRR while using the benefits of no additional syntactic parsers and external tools. The results show that using context-sensitive interactions between question and answer sentences can help to find the correct answer more accurately.

研究の動機と目的

• 質問と候補回答の間の深い意味的・構文的類似性を捉えることで、オープンドメイン質問応答における回答選択を改善すること。
• 従来の構文的類似性手法の限界を克服し、より良い表現学習を実現するため、深層ニューラルネットワークを活用すること。
• 依存解析器や品詞タグ付きツールなどの外部ツールに依存しないように、自己完結型のニューラルアーキテクチャを設計すること。
• 文脈に敏感なアテンション機構とマルチペルスペクティブ畳み込み相互作用を通じて、モデルの性能を向上させること。
• 追加の言語資源を用いずに、質問-回答ペアのみを用いてTrecQA Rawベンチマークで最先端の結果を達成すること。

提案手法

• モデルは、正例（正解）と負例（誤り）の回答を区別できる微分可能な表現を学習するためのペアワイズランキングフレームワークを採用する。
• 多視点畳み込みネットワークを適用し、質問と回答の埋め込みの間で、複数の抽象化レベルでの多様な相互作用を捉える。
• 動的重み付けにより、質問と回答の重要な語、特に疑問語に注目できるように、アテンション機構を統合する。
• 受容 field を拡大するためにワイド畳み込みを用い、'who'、'what'、'when'などのキーワードへの感受性を高める。
• 疎行列特徴ベクトルを組み込み、顕著な言語的パターンを保持し、一般化性能を向上させる。
• アーキテクチャはエンドツーエンドで学習可能であり、従来の依存解析器や品詞タグ付きツールなどの前処理を不要とする。

実験結果

リサーチクエスチョン

• RQ1 外部言語ツールに依存しないアテンションベースのマルチペルスペクティブ畳み込みネットワークは、回答選択の性能を向上させることができるか？
• RQ2 文脈に敏感なアテンション機構は、質問と候補回答の間のアライメントをどの程度効果的に向上させることができるか？
• RQ3 ワイド畳み込みとペアワイズランキングは、回答選択における意味的・構文的類似性の捉え方に、どの程度寄与するか？
• RQ4 提案されたモデルは、TrecQA Rawなどの標準ベンチマークで、既存の最先端システムを上回ることができるか？
• RQ5 自己完結型のニューラルアーキテクチャは、効率性を維持しながら、外部NLPコンponentへの依存を減らし、優れた性能を達成できるか？

主な発見

• 提案モデルは、TrecQA Rawベンチマークで、前回の最先端手法比で平均平均精度（MAP）を1.4%向上させる。
• モデルは平均逆順位（MRR）を1.1%向上させ、正解回答の順位付けの質が向上していることを示している。
• 構文解析器や品詞タグ付きツールなどの外部ツールを一切使用せずに、既存手法を上回る性能を発揮している。
• アテンション機構の統合により、キーワードである疑問語や関連コンテンツへの注目能力が顕著に向上している。
• ワイド畳み込みは、キーワードへの感受性を高め、factoid質問応答における性能向上に寄与している。
• アブレーションスタディにより、アテンション機構とペアワイズランキングの両方が最適な性能を達成する上で不可欠な要素であることが確認された。