[論文レビュー] aNMM: Ranking Short Answer Texts with Attention-Based Neural Matching Model

Yang Liu, Qingyao Ai+2 more|arXiv (Cornell University)|Jan 5, 2018

Topic Modeling参考文献 34被引用数 46

ひとこと要約

本論文は、注意機構ベースのニューラルマッチングモデル（aNMM）を短答テキストのランキングのために提案し、値共有ウェイトと質問に焦点を当てた注意機構を用いることで、重い特徴量設計なしで回答ランキングを改善し、TREC QA ベンチマークで競争力のあるまたは優れた性能を示している。

ABSTRACT

As an alternative to question answering methods based on feature engineering, deep learning approaches such as convolutional neural networks (CNNs) and Long Short-Term Memory Models (LSTMs) have recently been proposed for semantic matching of questions and answers. To achieve good results, however, these models have been combined with additional features such as word overlap or BM25 scores. Without this combination, these models perform significantly worse than methods based on linguistic feature engineering. In this paper, we propose an attention based neural matching model for ranking short answer text. We adopt value-shared weighting scheme instead of position-shared weighting scheme for combining different matching signals and incorporate question term importance learning using question attention network. Using the popular benchmark TREC QA data, we show that the relatively simple aNMM model can significantly outperform other neural network models that have been used for the question answering task, and is competitive with models that are combined with additional features. When aNMM is combined with additional features, it outperforms all baselines.

研究の動機と目的

• 特徴量エンジニアリングに依存するQA手法から、質問と回答の意味的マッチングのための深層学習へシフトを促す。
• 注意機構ベースのニューラルマッチングモデルを開発し、位置情報より信号値を強調して質問–回答の相互作用をより適切に捉える。
• 質問語の重要度を学習する質問語項注意機構を組み込み、ランキング品質を向上させる。
• aNMMをTREC QAベンチマークで評価し、単独の有効性と簡易特徴量と組み合わせた場合の潜在性を検証する。

提案手法

• 質問qと回答aからコサイン類似度による単語埋め込みのマッピング行列Pを構築する。
• 位置ベースのCNN風ウェイトに頼るのではなく、異なる値レンジ（ビン）全体のマッチング信号を集約するために値共有ウェイトを導入する。
• aNMM-1では、単一の値共有ウェイト集合を用いてQAマッチングベクトルを隠れ表現へ変換し、さらに出力スコアへと変換する。
• 最終スコアを出力する際に各質問語の寄与を重み付けするソフトマックスゲートを持つ質問注意ネットワークを適用する。
• ペアワイズランキング目的（マージン損失）で(q, a+, a−)の三つ組を用いて訓練し、値共有および注意成分の両方を逆伝播する。
• オプションとして、複数の値共有ウェイト集合を用いてより深い第一層表現を作るaNMM-2へ拡張し、同じ目的で訓練する。

実験結果

リサーチクエスチョン

• RQ1 RQ1 追加の手作り特徴量を用いない深層学習モデルは、特徴量エンジニアリングされたQA手法と同等かそれを上回ることができるか。
• RQ2 RQ2 提案モデルを簡易な追加特徴量と組み合わせると、ニューラルベースラインを超えるQAランキング性能を得られるか。

主な発見

• aNMM-1およびaNMM-2は、追加特徴量なしで回答をランキングする際に、従来の深層学習手法より有意な改善をTREC QAデータセットで達成した。
• aNMM-1はしばしばaNMM-2を若干上回り、別の隠れ層を追加してもこのタスクの性能向上に必ずしもつながらないことを示唆する。
• 学習された値共有ウェイトは、厳密な一致が非常に有益であり、高レンジの類似信号がランキングに正の寄与をする一方、いくつかの低い類似信号は否定的な指標になり得ることを示す。
• 学習された質問注意をIDFで置き換えると性能が劣化することから、学習された注意ウェイトはヒューリスティックな重み付けを超える有用なクエリ語項の重要性を捉えていることを示唆する。
• 簡単な特徴量（例：QL）と組み合わせた場合、aNMM手法はこのベンチマークで全ベースラインを上回る。