[論文レビュー] Bidirectional Attention Flow for Machine Comprehension

Min Joon Seo, Aniruddha Kembhavi+2 more|arXiv (Cornell University)|Nov 5, 2016

Topic Modeling被引用数 1,291

ひとこと要約

BiDAFは、早期の文脈要約を行わずにクエリ–文脈の相互作用をモデル化する多段階のメモリーレスな双方向注意フロー・ネットワークで、SQuADとCNN/DailyMailのクローズについて最先端の結果を達成。

ABSTRACT

Machine comprehension (MC), answering a query about a given context paragraph, requires modeling complex interactions between the context and the query. Recently, attention mechanisms have been successfully extended to MC. Typically these methods use attention to focus on a small portion of the context and summarize it with a fixed-size vector, couple attentions temporally, and/or often form a uni-directional attention. In this paper we introduce the Bi-Directional Attention Flow (BIDAF) network, a multi-stage hierarchical process that represents the context at different levels of granularity and uses bi-directional attention flow mechanism to obtain a query-aware context representation without early summarization. Our experimental evaluations show that our model achieves the state-of-the-art results in Stanford Question Answering Dataset (SQuAD) and CNN/DailyMail cloze test.

研究の動機と目的

• 質問と文脈の間の相互作用をより良くモデル化して機械理解を動機づけ、改善する。
• 情報の流れを保つために、文脈を早期に固定サイズのベクトルへ要約するのを避ける。
• 階層的なアーキテクチャへ流れるメモリーレスな双方向注意機構を提案する。
• 文字・語・文脈埋め込みを多層のモデリングスタックと組み合わせて、回答のスパンを予測する。

提案手法

• 文字レベルの CNN と事前学習済み単語埋め込みを用い、続いて2層のハイウェイネットワークを適用。
• 文脈とクエリを別々にエンコードするために、文脈的な双方向 LSTM を適用。
• 文脈とクエリの間に共有類似度行列を構築して双方向注意フローを計算。
• 注意から得られたベクトルを固定ベクトルへ畳み込まず、モデリング層（双方向 LSTM）へ流す。
• 真の開始・終了インデックスのネガティブ対数尤度で訓練される開始/終了スパン予測機構をQAに用いる。
• SQuAD（EMとF1）とCNN/DailyMailクローズ課題で評価。

実験結果

リサーチクエスチョン

• RQ1 クエリと文脈の間の双方向のメモリーレス注意は、一方向や動的注意機構より機械理解を改善できるか？
• RQ2 後続のモデリング層を通じてトークンレベルの注意フローを維持することで情報を保ち、回答の定位を改善できるか？
• RQ3 複数段階の埋め込み（文字・語・文脈）がQA性能にどう寄与するか？
• RQ4 C2Q対Q2Cのアブレーションや注意フローと動的注意との影響はどのようか？

主な発見

Model	EM (Single)	F1 (Single)	EM (Ensemble)	F1 (Ensemble)
Logistic Regression Baseline	40.4	51.0	-	-
Dynamic Chunk Reader	62.5	71.0	-	-
Fine-Grained Gating	62.5	73.3	-	-
Match-LSTM	64.7	73.7	67.9	77.0
Multi-Perspective Matching	65.5	75.1	68.2	77.2
Dynamic Coattention Networks	66.2	75.9	71.6	80.4
R-Net	68.4	77.5	72.1	79.7
BiDAF (Ours)	68.0	77.3	73.3	81.1

• BiDAFはSQuADのテストセットで単独モデルとアンサンブルの両方で最先端の結果を達成（EMとF1指標）。
• SQuADでは、BiDAFの単一モデル: EM 68.0 および F1 77.3；アンサンブル: EM 73.3 および F1 81.1。
• BiDAFはCNN/DailyMailクローズでも高い結果を示し、従来の単一モデル手法を上回り、一部のアンサンブルと同等またはそれを超える（CNN/DailyMailの検証/テスト）。
• アブレーション研究は、C2QまたはQ2C注意を除去すると性能が低下することを示し、別々の注意とモデリング層を持つメモリーレス（静的）注意は、動的注意よりも優れている。
• 文字埋め込みと語埋め込みの両方が性能に寄与し、文脈埋め込みはクエリ語の整合性を改善する。
• 可視化と誤り分析は、モデルが妥当なクエリ-文脈の整列と回答スパンの位置を学習していることを示している。