[論文レビュー] Dynamic Coattention Networks For Question Answering

Caiming Xiong, Victor W. Zhong+1 more|arXiv (Cornell University)|Nov 5, 2016

Topic Modeling参考文献 21被引用数 338

ひとこと要約

この論文はDynamic Coattention Network (DCN) を導入。エンドツーエンドの QA モデルで coattention エンコーダと反復的なダイナミックデコーダを備え、SQuAD の回答 span の予測を改善し局所最大値から回復可能。

ABSTRACT

Several deep learning models have been proposed for question answering. However, due to their single-pass nature, they have no way to recover from local maxima corresponding to incorrect answers. To address this problem, we introduce the Dynamic Coattention Network (DCN) for question answering. The DCN first fuses co-dependent representations of the question and the document in order to focus on relevant parts of both. Then a dynamic pointing decoder iterates over potential answer spans. This iterative procedure enables the model to recover from initial local maxima corresponding to incorrect answers. On the Stanford question answering dataset, a single DCN model improves the previous state of the art from 71.0% F1 to 75.9%, while a DCN ensemble obtains 80.4% F1.

研究の動機と目的

• SQuAD における単一パスモデルの局所最大値を扱うことで QA を改善する動機付け。
• 質問と文書を同時に参照する共注意エンコーダを提案。
• 回答 span を洗練させるダイナミックで反復的デコーダを導入。
• 単一モデルおよびエンsemble で SQuAD の最先端結果を示す。

提案手法

• 共注意エンコーダは質問と文書の間の親和性行列を計算し、結合要約 (C^D, Q) を導出し、Bi-LSTM で統合して共注意エンコーディング U を生成。
• ダイナミック・ポインティング・デコーダは前の推定に条件付けて開始位置と終了位置を反復的に予測し、開始/終了候補をスコアリングする Highway Maxout Network (HMN) を使用。
• 学習では反復ごとのソフトマックス交差エントロピーを累積的に最小化し、予測が安定するか最大反復数に達したら停止。
• GloVe 埋め込みを訓練中は固定、セントネルベクトル、ドロップアウトを使用； ADAM で最適化。
• SQuAD 上で EM と F1 指標を用いて評価し、単一モデルとアンサンブルの性能を比較。

実験結果

リサーチクエスチョン

• RQ1 共注意に基づくエンコーディングと反復デコーダを組み合わせると SQuAD の QA 性能を改善できるか？
• RQ2 反復デコーダは回答 span の局所最大値からの回復に役立つか？
• RQ3 エンコーダの選択肢（共注意 vs. 単一注意）とデコーダの構成が性能に与える影響は？
• RQ4 DCN は開発セットおよびテストセットで従来モデル・最新モデルと比較してどうか？

主な発見

モデル	Dev EM	Dev F1	Test EM	Test F1
Ensemble DCN	70.3	79.4	71.2	80.4
DCN (Ours) Single model	65.4	75.6	66.2	75.9
Dynamic Chunk Reader (Yu et al., 2016)	62.5	71.2	62.5	71.0
Match-LSTM (Wang & Jiang, 2016b)	59.1	70.0	59.5	70.3

• 単一の DCN は SQuAD テストで 75.9% F1 を達成（当時の最先端）および開発セットで 70.3 EM、79.4 F1 を達成。
• アンサンブル DCN は テストで 80.4% F1（および 71.2 EM）で他の提出を上回る。
• アブレーションでは HMN ベースの反復デコーダでプールサイズ 16 が最良の開発性能を示し（F1 75.6）。
• 共注意を単純な QA-attention に置換すると開発 F1 が約 1.9 ポイント低下し、共注意の有効性を示唆。
• DCN は文書長・質問長を問わず堅牢な性能を示し、事例分布が bimodal で、完全予測と不正確予測の双方が一般的である。