[論文レビュー] Understanding Dataset Design Choices for Multi-hop Reasoning

Jifan Chen, Greg Durrett|arXiv (Cornell University)|Apr 27, 2019

Topic Modeling参考文献 25被引用数 9

ひとこと要約

この論文は、WikiHopとHotpotQAという2つの代表的なマルチホップQAデータセットにおいて、最先端のモデルが優れた性能を発揮するために、真にマルチホップ推論が必要かどうかを調査している。各文を独立して分析する文単位のファクタードモデルと、文脈を無視して質問と答えの候補のみを用いるno-contextベースラインを用いてテストした結果、両データセットの半数以上がマルチホップ推論なしに解けることが判明し、誤った相関関係を通じて強い性能が達成可能であることが示された。これは、現在のモデルが複雑な推論を真に学習しているかどうかに深刻な懸念を呈するものである。

ABSTRACT

Learning multi-hop reasoning has been a key challenge for reading comprehension models, leading to the design of datasets that explicitly focus on it. Ideally, a model should not be able to perform well on a multi-hop question answering task without doing multi-hop reasoning. In this paper, we investigate two recently proposed datasets, WikiHop and HotpotQA. First, we explore sentence-factored models for these tasks; by design, these models cannot do multi-hop reasoning, but they are still able to solve a large number of examples in both datasets. Furthermore, we find spurious correlations in the unmasked version of WikiHop, which make it easy to achieve high performance considering only the questions and answers. Finally, we investigate one key difference between these datasets, namely span-based vs. multiple-choice formulations of the QA task. Multiple-choice versions of both datasets can be easily gamed, and two models we examine only marginally exceed a baseline in this setting. Overall, while these datasets are useful testbeds, high-performing models may not be learning as much multi-hop reasoning as previously thought.

研究の動機と目的

• WikiHopとHotpotQAという2つの広く使われているマルチホップQAデータセットにおいて、高精度を達成するためにマルチホップ推論が真に必要かどうかを評価すること。
• モデルが真の推論ではなく、誤った相関関係や浅いパターンマッチングによって高精度を達成する程度を評価すること。
• スパンベースの監視と複数選択形式の監視の有効性を比較し、質問と答え候補の相関関係による「だまし」を防ぐ効果を検討すること。
• これらのデータセットの複数選択形式での強力な性能が、真のマルチホップ推論を反映しているのか、それとも表面的な統計的ヒントを単に利用しているだけなのかを調査すること。
• 文単位のファクタードモデルを用いた敵対的評価を通じて、より頑健なマルチホップ推論データセットを構築するためのガイドラインを提供すること。

提案手法

• マルチホップ推論が必要かどうかをテストするため、他の文からの情報を使用せずに、各文を独立して答えを含むかどうかスコアリングする文単位のファクタードモデルを提案する。
• 文脈を無視して質問と答えの候補のみを用いるno-contextベースラインを訓練・評価し、誤った相関関係を検出する。
• 複数選択形式とスパンベース形式の両方のデータセットを比較することで、監視形式の違いがモデル行動に与える影響を評価する。
• スパン予測を候補マッピングを通じてフィルタリングすることで、スパンベースのモデル（BiDAF++）を複数選択設定に適応し、スパン監視が推論の頑健性を向上させるかをテストする。
• 複数選択肢の数を増やすことでアブレーションスタディを実施し、誤った相関関係が弱まった際にモデル性能が低下するかどうかを検証する。
• 文単位のファクタードモデルを用いた敵対的評価を通じて、マルチホップ推論を必要としない例を同定し、データセット設計の診断ツールとして活用する。

実験結果

リサーチクエスチョン

• RQ1 文単位の独立的予測に基づいて、モデルがWikiHopとHotpotQAをマルチホップ推論を実行せずにどの程度解けるか。
• RQ2 これらのデータセットの複数選択形式において、質問と答え候補の間の誤った相関関係はどの程度強いのか。
• RQ3 スパンベースの監視は複数選択形式の監視に比べて、より頑健で、表面的な手がかりへの依存を減らすのか。
• RQ4 スパンベースのデータで学習したモデルは、同じ設定で評価された場合、複数選択形式で学習したモデルを上回れるのか。
• RQ5 複数選択形式のデータセットで学習したモデルは、真にマルチホップ推論を学習しているのか、それとも単に質問と候補の相関関係を活用しているのか。

主な発見

• WikiHopの60％以上、HotpotQAの45％以上の例が、各文を独立して処理する文単位のファクタードモデルによって解けることから、多くの例ではマルチホップ推論が不要であることが示された。
• 文脈を無視するno-contextベースラインがWikiHopで60.9％、HotpotQAで45.4％の精度を達成したことから、データに強い誤った相関関係が存在することが明らかになった。
• 両データセットの複数選択形式は、質問と候補の相関関係による「だまし」に脆弱である。no-contextベースラインの性能が、複雑なモデルとほぼ同等であった。
• スパンベースの監視は複数選択形式の監視よりも頑健であり、スパンベースのデータで学習したモデル（例：Span2MC-BiDAF++）が、複数選択形式で直接学習したモデルを上回った。
• 複数選択肢の数を増やしても、no-contextベースラインの性能は複雑なモデルと同等を維持した。これは、モデルが依然として真のマルチホップ推論を学習できていないことを示唆している。
• 文単位のファクタードBiDAFモデルが一部の設定で、最高のスパンベースモデルでさえも上回ったことから、多くのモデルが真のマルチホップ推論ではなく、強い単一文推論に依存している可能性がある。