[論文レビュー] Multi-Perspective Context Matching for Machine Comprehension

Zhiguo Wang, Haitao Mi+2 more|arXiv (Cornell University)|Dec 13, 2016

Topic Modeling参考文献 19被引用数 115

ひとこと要約

本論文は SQuAD に対する抽出型機械理解のための Multi-Perspective Context Matching (MPCM) モデルを提案し、 passage の文脈を質問と複数視点で照合して回答 span を予測し、BiLSTM で集約する。

ABSTRACT

Previous machine comprehension (MC) datasets are either too small to train end-to-end deep learning models, or not difficult enough to evaluate the ability of current MC techniques. The newly released SQuAD dataset alleviates these limitations, and gives us a chance to develop more realistic MC models. Based on this dataset, we propose a Multi-Perspective Context Matching (MPCM) model, which is an end-to-end system that directly predicts the answer beginning and ending points in a passage. Our model first adjusts each word-embedding vector in the passage by multiplying a relevancy weight computed against the question. Then, we encode the question and weighted passage by using bi-directional LSTMs. For each point in the passage, our model matches the context of this point against the encoded question from multiple perspectives and produces a matching vector. Given those matched vectors, we employ another bi-directional LSTM to aggregate all the information and predict the beginning and ending points. Experimental result on the test set of SQuAD shows that our model achieves a competitive result on the leaderboard.

研究の動機と目的

• 現実的で大規模な MC 評価データ（SQuAD）とエンドツーエンドモデリングの必要性を動機づける。
• 直接的に回答 span の開始点と終了点を予測するエンドツーエンドの MPCM モデルを提案する。
• 多視点照合がベースラインより span 識別を改善することを示す。
• MPCM アーキテクチャの重要な要素を特定するアブレーション結果を示す。

提案手法

• 固定的な単語埋め込み（GloVe）と文字ベースの組み合わせ埋め込みによる語表現。
• 質問の関連度 r_j によって passage の語を再ウェイト付けするフィルタ層。
• 質問と passage の BiLSTM ベースの文脈表現。
• l 個の視点と複数の照合戦略（full, maxpooling, meanpooling）を用いる Multi-Perspective Context Matching Layer。
• 照合ベクトルを融合する BiLSTM を用いた Aggregation Layer。
• a_b および a_e のための二つの独立した softmax ヘッドを用いて Pr(a_b|Q,P) と Pr(a_e|Q,P) を出力する Prediction Layer。

実験結果

リサーチクエスチョン

• RQ1 MPCM モデルは同時代の手法と比較して SQuAD テストセットでどれだけ競争力があるか？
• RQ2 多視点の照合アプローチは質問を意識した passage 表現と span 予測を改善するか？
• RQ3 視点の数（l）が性能に与える影響はどの程度か？
• RQ4 MPCM アーキテクチャのどの要素が性能に最も寄与するか（アブレーション分析）？

主な発見

Model	EM	F1
Logistic Regression	40.4	51.0
Match-LSTM (Sequence)	54.5	67.7
Match-LSTM (Boundary)	60.5	70.7
Dynamic Chunk Reader	62.5	71.0
Match-LSTM with Bi-Ptr	64.7	73.7
MPCM (Ours)	65.5	75.1
Dynamic Coattention	66.2	75.9
BiDAF	68.0	77.3
r-net	69.5	77.9
Fine-Grained Gating	62.5	73.3
Match-LSTM (Boundary)	67.9	77.0
MPCM (Ours)	68.2	77.2
Dynamic Coattention	71.6	80.4
BiDAF	73.3	81.1
r-net	74.5	82.0

• 単一の MPCM は SQuAD テストセットで EM 65.5 と F1 75.1。
• Ensemble MPCM は EM 68.2、F1 77.2 に改善。
• MPCM は BiDAF EM 68.0, F1 77.3; r-net EM 69.5, F1 77.9 などのいくつかのベースラインと比較して有利。
• 視点の数を 1 から 50 に増やすと性能が向上（EM 60.7→66.1、F1 71.7→75.8）。
• アブレーションは Aggregation 層と特定の照合戦略が性能にとって重要であることを示す。
• 層のアブレーションは任意の主要要素を削除すると結果が悪化し、特に Aggregation の影響が大きい。