[論文レビュー] FlowQA: Grasping Flow in History for Conversational Machine Comprehension

Hsin-Yuan Huang, Eunsol Choi+1 more|arXiv (Cornell University)|Oct 6, 2018

Topic Modeling参考文献 22被引用数 82

ひとこと要約

FlowQAは過去の質問から中間表現を伝えるFlow機構を導入し、会話的機械読解の理解をより良く扱えるようにし、CoQAとQuACで大きなF1の向上を達成します。

ABSTRACT

Conversational machine comprehension requires the understanding of the conversation history, such as previous question/answer pairs, the document context, and the current question. To enable traditional, single-turn models to encode the history comprehensively, we introduce Flow, a mechanism that can incorporate intermediate representations generated during the process of answering previous questions, through an alternating parallel processing structure. Compared to approaches that concatenate previous questions/answers as input, Flow integrates the latent semantics of the conversation history more deeply. Our model, FlowQA, shows superior performance on two recently proposed conversational challenges (+7.2% F1 on CoQA and +4.0% on QuAC). The effectiveness of Flow also shows in other tasks. By reducing sequential instruction understanding to conversational machine comprehension, FlowQA outperforms the best models on all three domains in SCONE, with +1.8% to +4.4% improvement in accuracy.

研究の動機と目的

• 会話履歴の理解を要する会話型機械読解を動機付ける。
• 以前の推論ステップからの中間表現を用いて履歴をエンコードするFlowを提案する。
• 効率性のために交互並列アーキテクチャを用いて、Flowを基底のシングルターンMCモデルと統合する。
• CoQA、QuAC、およびSCONEの逐次指示タスクでの性能向上を示す。

提案手法

• Flowを、質問ターン間で中間の文脈表現を伝達する機構として導入する。
• 文脈主導処理とFlow主導処理を交互に切替えるIntegration-Flow (IF)層を開発し、並列性を確保する。
• 履歴を統合するために、完全に情報を考慮したアテンションと階層的質問エンコード（QHierRNN）を用いる。
• FlowQAの推論と回答予測コンポーネントを備えたシングルターンMCモデルを拡張する。
• 標準のF1およびHEQ指標を用いてCoQAとQuACで訓練・評価し、ベースラインを上回る改善を示す。
• Flowの逐次指示理解（SCONE）への適用性を、会話型MCへ還元することによって示す。

実験結果

リサーチクエスチョン

• RQ1 従来の前QAペアの結合だけではなく、歴史的推論信号を会話型機械読解に効果的に取り入れるにはどうすればよいか。
• RQ2 Flowが会話型MCベンチマーク（CoQA、QuAC）および関連する逐次指示タスクの性能へ与える影響はどの程度か。
• RQ3 交互並列IFアーキテクチャは正確性を保ちつつ実用的な訓練スピードアップを提供するか。
• RQ4 FlowQAの性能において、他の構成要素（例：QHierRNN）と比較してFlowはどれほど重要か。

主な発見

• FlowQAはCoQAで +7.2 ポイントのF1、QuACで +4.0 ポイントのF1を従来モデルより達成。
• CoQAでは領域横断でFlowQAが大幅に改善を示し、FlowQA（2-AnsおよびAll-Ansバリアント）はベースラインを上回る。
• Flowは重要な構成要素であり、Flowを除くとQuACおよびCoQAの成績が顕著に低下する（場合により4ポイント以上の差）。
• 交互IFアーキテクチャは、単純なFlow実装と比べて訓練スピードを大幅に向上させる（CoQAで8.1x、QuACで4.2x）。
• FlowはSCONEの逐次指示領域でも改善をもたらし、従来の最先端モデルを上回る。
• Table 1ではFlowQA（1-Ans）はCoQAの総合F1が75.0に達し、BiDAF++（3-ctx）は67.8、他のベースラインはそれ以下。Humanは88.8です。