[論文レビュー] LSTM-based Deep Learning Models for Non-factoid Answer Selection

Ming Tan, Cícero dos Santos+2 more|arXiv (Cornell University)|Nov 12, 2015

Topic Modeling参考文献 24被引用数 403

ひとこと要約

本稿では、手作業による特徴量設計や言語処理ツールに依存しない、非事実型回答選択のための双方向LSTMベースの深層学習フレームワークを提案する。biLSTMとCNN、および注目メカニズムを組み合わせることで文脈に配慮した表現を強化し、TREC-QAおよびInsuranceQAの両データセットで最先端の性能を達成した。TREC-QAでは、強力なベースラインを最大4%上回るMRRを達成した。

ABSTRACT

In this paper, we apply a general deep learning (DL) framework for the answer selection task, which does not depend on manually defined features or linguistic tools. The basic framework is to build the embeddings of questions and answers based on bidirectional long short-term memory (biLSTM) models, and measure their closeness by cosine similarity. We further extend this basic model in two directions. One direction is to define a more composite representation for questions and answers by combining convolutional neural network with the basic framework. The other direction is to utilize a simple but efficient attention mechanism in order to generate the answer representation according to the question context. Several variations of models are provided. The models are examined by two datasets, including TREC-QA and InsuranceQA. Experimental results demonstrate that the proposed models substantially outperform several strong baselines.

研究の動機と目的

• 手作業による特徴量設計や言語処理ツールを必要としない回答選択のための深層学習フレームワークの開発。
• 局所的な特徴抽出を強化するため、biLSTMと畳み込みニューラルネットワーク（CNN）を組み合わせることによる回答表現の向上。
• 回答符号化中に質問文の関連する文脈に焦点を当てる注目メカニズムを用いて、質問と回答の一致を強化する。
• 2つの多様な非事実型QAデータセット（TREC-QAおよびInsuranceQA）に対して、提案モデルの評価。
• エンド・トゥ・エンド学習と注目メカニズム、階層的表現が、従来の特徴量ベースおよびCNNオンリーのベースラインを上回ることの実証。

提案手法

• モデルは双方向LSTMを用いて、質問および回答候補を密なベクトル表現に符号化する。
• biLSTMの最終隠れ状態に最大プーリング層を適用し、各シーケンスの固定サイズ表現を生成する。
• biLSTM出力の上に畳み込みニューラルネットワーク（CNN）を積み重ね、局所的なn-gram特徴を抽出し、表現品質を向上させる。
• 注目メカニズムを導入し、質問文の文脈に条件づけられた回答表現を生成することで、回答の関連部分に動的かつ的確に焦点を当てる。
• 質問と回答の埋め込み表現間の一致スコアはコサイン類似度を用いて測定する。
• モデルは確率的勾配降下法を用いてエンド・トゥ・エンドに学習され、交差エントロピー損失関数を最適化し、正しい回答を最も高い順位にランク付けすることを目的とする。

実験結果

リサーチクエスチョン

• RQ1 biLSTMと注目メカニズムにのみ依存する深層学習フレームワークは、言語的特徴量や外部リソースに依存せずに、優れた回答選択性能を達成できるか？
• RQ2 biLSTMとCNNを組み合わせることで、非事実型QAにおける質問および回答の表現学習はどの程度向上するか？
• RQ3 質問文の文脈に一致するように回答をアライメントする注目メカニズムを組み込むことで、一致精度はどの程度向上するか？
• RQ4 提案モデルは、TREC-QAおよびInsuranceQAの両データセットでの性能から示されるように、異なるドメインに一般化可能か？
• RQ5 MAPおよびMRRの観点から、CNNオンリーおよび特徴量設計済みモデルを含む強力なベースラインと比較して、本モデルはどの程度優れているか？

主な発見

• biLSTM、CNN、および注目メカニズムを組み合わせた提案モデル（Model E）は、TREC-QAで最高の性能を示し、MAPが72.79%、MRRが82.40%を達成。これは、最良のベースラインをMAPで1.45%、MRRで2.9%上回った。
• biLSTM/CNNと注目メカニズムを組み合わせたModel Dは、MRRが83.22%に達し、Wang & Nyberg（2015）のベースライン比でMRRで4%の向上を示した。
• 注目メカニズム単体（Model B）は、基本的なQA-LSTMモデル比でMRRが約2%向上し、関連する回答部分に焦点を当てる有効性を示した。
• CNNを強化したモデル（Model C）は、基本的なQA-LSTMモデル比でMAPおよびMRRの両方で2%以上向上し、局所的特徴学習が表現を向上させることを示した。
• 注目メカニズムを含まないモデル（Model A）は、MAPが68.19%、MRRが76.52%を達成し、これは、単純なbiLSTMフレームワークですら、従来の特徴量ベースの手法を上回ることを示している。
• InsuranceQAデータセットにおける結果は、2つの非深層学習ベースラインおよび強力なCNNベースの深層学習ベースラインに対して顕著な改善を示し、フレームワークのドメイン間一般化能力を確認した。