[論文レビュー] Do Multi-hop Readers Dream of Reasoning Chains?

Haoyu Wang, Mo Yu+4 more|arXiv (Cornell University)|Oct 31, 2019

Topic Modeling参考文献 14被引用数 8

ひとこと要約

この論文は、マルチホップQAモデルが、支持文書の順序付き連鎖（推論チェーン）を効果的に活用できるかを、単一文書 vs. 全チェーン設定のパフォーマンスを比較することで調査している。既存のモデルでは限られた向上（最大1.29% F1向上）にとどまっているが、著者らは共マッチング法を提案し、13.1%の誤差低減を達成した。これは、より優れた推論アーキテクチャが、マルチホップQAにおける推論チェーンの潜在能力を十分に引き出せる可能性を示している。

ABSTRACT

General Question Answering (QA) systems over texts require the multi-hop reasoning capability, i.e. the ability to reason with information collected from multiple passages to derive the answer. In this paper we conduct a systematic analysis to assess such an ability of various existing models proposed for multi-hop QA tasks. Specifically, our analysis investigates that whether providing the full reasoning chain of multiple passages, instead of just one final passage where the answer appears, could improve the performance of the existing QA models. Surprisingly, when using the additional evidence passages, the improvements of all the existing multi-hop reading approaches are rather limited, with the highest error reduction of 5.8% on F1 (corresponding to 1.3% absolute improvement) from the BERT model. To better understand whether the reasoning chains could indeed help find correct answers, we further develop a co-matching-based method that leads to 13.1% error reduction with passage chains when applied to two of our base readers (including BERT). Our results demonstrate the existence of the potential improvement using explicit multi-hop reasoning and the necessity to develop models with better reasoning abilities.

研究の動機と目的

• 既存のマルチホップQAモデルが、複数の支持文書から構成される明示的な推論チェーンを効果的に活用できるかどうかを評価すること。
• 完全な推論経路が利用可能である場合、マルチホップ質問応答において測定可能なパフォーマンス向上が得られるかどうかを調査すること。
• 質問、文脈、回答の文書の間の関係を明示的にモデル化することで、モデルの推論能力を向上させる新しい手法を開発すること。
• 真の推論チェーンを備えたベンチマークデータセットを構築し、QAモデルの推論能力を体系的に評価可能にするための基盤を提供すること。
• モデルの能力と推論チェーンの潜在的価値のギャップを浮き彫りにし、本物のマルチホップ推論を実現するためのより良いモデル設計の必要性を強調すること。

提案手法

• 人間がアノテートした2つの支持文書からなる推論チェーンを備えたHotpotQAデータセットを用いて、新しい評価設定を構築する。
• 2つの訓練・評価設定を設計する：(1) シングルオラクル（回答を含む文書のみ）と (2) オーダードオラクル（正しい順序で整列された全推論チェーン）。
• 質問、文脈文書、回答文書を同時にエンコードすることで、文書間の相互作用をモデル化する共マッチング機構を提案する。
• BERTおよびHotpotReaderの両方に共マッチングモジュールを拡張し、文書チェーン上の推論を向上させる。
• 文書の順序を予測するための二値分類ヘッドを採用し、無順序のチェーンから推論フローを推論できる能力を評価する。
• 再現性を確保し、今後のベンチマーク作成を可能にするために、コードとデータを https://github.com/helloeve/bert-co-matching で公開する。

実験結果

リサーチクエスチョン

• RQ1 既存のマルチホップQAモデルが、回答を含む文書のみではなく、完全な推論チェーンを提供された場合に、顕著なパフォーマンス向上を達成できるか？
• RQ2 正しい順序が提供された場合でも、モデルが推論チェーンの構造を十分に活用できるインダクティブバイアスを有しているか？
• RQ3 推論チェーンを効果的に活用して、マルチホップQAで顕著なパフォーマンス向上を達成できるモデルアーキテクチャは存在するか？
• RQ4 既存データセットに内在するデータバイアスが、モデルの真の推論能力を隠蔽している程度はどの程度か？また、真の推論能力を反映するための評価方法はどのように改善できるか？

主な発見

• BERTを含む既存のマルチホップQAモデルは、完全な推論チェーンが与えられた場合でも、パフォーマンス向上が限定的であり、BERTモデルでは最大で1.29%（1.3%絶対値）のF1向上にとどまっている。
• BERTモデルは、文書のうちどちらが文脈でどちらが回答かを判別する二値分類タスクで87.43%の正確性しか得られておらず、推論チェーンの順序付け能力が弱いことが示された。
• 提案された共マッチング法は、BERTに適用した場合、オーダードオラクル設定で13.1%の誤差低減を達成した。これは、適切にモデル化された場合、推論チェーンが非常に有益である可能性を示している。
• 共マッチングアプローチは、HotpotReaderとBERTにそれぞれ適用した場合、シングルオラクル設定に対してF1を3.88%および2.91%向上させた。これは、明示的な推論モデル化の有効性を確認するものである。
• 結果から、既存モデルのパフォーマンス向上が見られないのは、推論チェーンに情報が不足しているためではなく、推論のインダクティブバイアスが不十分であるためであることが明らかになった。
• 本研究は、推論チェーンが実際には有用であり、特に低バイアス評価設定において、より強い推論能力を持つモデルの設計にさらなる余力があることを確認した。