[論文レビュー] Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction

Kosuke Nishida, Kyosuke Nishida+5 more|arXiv (Cornell University)|May 21, 2019

Topic Modeling参考文献 40被引用数 5

ひとこと要約

本稿では、マルチホップQAにおける証拠抽出をクエリ指向要約として定式化するマルチタスク学習フレームワーク、Query Focused Extractor (QFE) を提案する。質問のアテンションを用いたRNNを用い、依存関係とカバレッジをモデル化しながら逐次的に証拠文を抽出することで、HotpotQA (RC) および FEVER (RTE) ベンチマークの両方で最先端の証拠抽出性能を達成した。

ABSTRACT

Question answering (QA) using textual sources for purposes such as reading comprehension (RC) has attracted much attention. This study focuses on the task of explainable multi-hop QA, which requires the system to return the answer with evidence sentences by reasoning and gathering disjoint pieces of the reference texts. It proposes the Query Focused Extractor (QFE) model for evidence extraction and uses multi-task learning with the QA model. QFE is inspired by extractive summarization models; compared with the existing method, which extracts each evidence sentence independently, it sequentially extracts evidence sentences by using an RNN with an attention mechanism on the question sentence. It enables QFE to consider the dependency among the evidence sentences and cover important information in the question sentence. Experimental results show that QFE with a simple RC baseline model achieves a state-of-the-art evidence extraction score on HotpotQA. Although designed for RC, it also achieves a state-of-the-art evidence extraction score on FEVER, which is a recognizing textual entailment task on a large textual database.

研究の動機と目的

• 解釈可能性を高めるために、システムが解釈可能な関連証拠文を抽出できるように、説明可能なマルチホップQAの課題に対処すること。
• 証拠文間の依存関係をモデル化し、質問の内容を包括的にカバーすることにより、証拠抽出のパフォーマンスを向上させること。
• 読解（RC）およびテキスト entailsment（RTE）を含む、さまざまなQAタスクへの一般化を図ること。
• 証拠抽出を効果的にクエリ指向要約タスクとしてモデル化できることを示すこと。
• タスク固有のアーキテクチャの再設計を必要とせずに、証拠抽出で最先端のパフォーマンスを達成すること。

提案手法

• QFEは、質問のアテンションを用いたRNNを用いるクエリ指向要約モデルに基づく。このモデルは、逐次的に証拠文を抽出する。
• モデルは、質問に注目し、抽出された文の間の依存関係をモデル化することで、証拠文の数を動的に決定する。
• マルチタスク学習が採用され、共有された文脈表現を用いて、QAモデルの回答選択とQFEの証拠抽出を同時に学習する。
• アプローチは、証拠抽出を逐次的選択タスクとして扱い、質問からの重要な情報をカバーする文を優先的に選択する。
• モデルは、読解（HotpotQA）およびテキスト entailsment（FEVER）の両方のタスクに適用され、両方を説明可能なマルチホップQAタスクとして扱う。
• この方法は汎用的であり、任意のQAモデルと組み合わせられ、証拠抽出のためのプラグインモジュールとして機能する。

実験結果

リサーチクエスチョン

• RQ1 マルチホップQAにおける証拠抽出は、クエリ指向要約タスクとして効果的にモデル化できるか？
• RQ2 質問のアテンションを用いた逐次的証拠抽出は、独立した抽出と比較して、依存関係のモデル化とカバレッジの両面で向上するか？
• RQ3 統一されたQFEモデルは、RCおよびRTEのような多様なQAタスクで最先端のパフォーマンスを達成できるか？
• RQ4 QFEを用いたマルチタスク学習は、証拠抽出および回答選択の両方のパフォーマンスにどのように影響するか？
• RQ5 証拠抽出の適応的終了は、正確性とF1スコアの向上にどの程度寄与するか？

主な発見

• QFEはHotpotQAで最先端の証拠抽出パフォーマンスを達成し、テストセットにおいてF1で1位、精度で2位、再現率で3位を記録した。
• FEVERベンチマークでは、QFEは競合モデルの中で最高の証拠抽出スコアを達成したが、回答予測スコアは同等の水準を維持した。
• アブレーションスタディにより、ベースラインの証拠抽出器をQFEに置き換えることで、証拠抽出パフォーマンスが顕著に向上することが確認された。
• アンサンブルモデルは再現率とF1を向上させ、複数の予測を組み合わせることで関連証拠のカバレッジが向上することを示した。
• QFEは適応的終了を示し、不要な文の過剰抽出を避けることで、より高い正確性を達成した。
• QFEは、HotpotQAにおける証拠抽出でベースラインを上回った最初のモデルであり、このタスクの新しいSOTAを確立した。