[論文レビュー] Compositional Questions Do Not Necessitate Multi-hop Reasoning

Sewon Min, Eric Wallace+4 more|arXiv (Cornell University)|Jun 7, 2019

Topic Modeling参考文献 17被引用数 17

ひとこと要約

この論文は、構成的質問が本質的に複数のステップにわたる推論を必要とするという仮定に挑戦し、1ステップのBERTベースのモデルがHotpotQAで67 F1を達成することを示している。これは最先端の複数ステップモデルと同等の性能である。著者らは、多くの質問が強いエンティティタイプの信号と重複する事実のおかげで1ステップで解けること、そして人間のアノテーターですら1つのゴールパラグラフを除いた場合に80％以上の質問を正しく回答できることを示しており、現在のデータセットが複数ステップ推論の必要性を誇張している可能性があることを示唆している。

ABSTRACT

Multi-hop reading comprehension (RC) questions are challenging because they require reading and reasoning over multiple paragraphs. We argue that it can be difficult to construct large multi-hop RC datasets. For example, even highly compositional questions can be answered with a single hop if they target specific entity types, or the facts needed to answer them are redundant. Our analysis is centered on HotpotQA, where we show that single-hop reasoning can solve much more of the dataset than previously thought. We introduce a single-hop BERT-based RC model that achieves 67 F1---comparable to state-of-the-art multi-hop models. We also design an evaluation setting where humans are not shown all of the necessary paragraphs for the intended multi-hop reasoning but can still answer over 80% of questions. Together with detailed error analysis, these results suggest there should be an increasing focus on the role of evidence in multi-hop reasoning and possibly even a shift towards information retrieval style evaluations with large and diverse evidence collections.

研究の動機と目的

• 多段階読解データセットにおける構成的質問が、複数の段落にわたる推論を本当に必要とするかどうかを調査すること。
• 単一ステップの推論が、HotpotQAのような既存の多段階データセットをどの程度解けるかを評価すること。
• 現在の誤魔化し要因選択手法が、多段階推論を効果的に強制しているのか、それとも単一ステップの解決策を許容しているのかを評価すること。
• 誤魔化し要因選択やオープンドメイン検索のような、多段階推論をより効果的に強制する代替評価パラダイムを検討すること。
• 多段階データセットに内在する設計上の欠陥を特定し、モデルや人間が必要な推論ステップを回避できるようにしている要因を特定すること。

提案手法

• 1ステップのBERTベースのQAモデルを訓練し、各パラグラフを独立して読み込み、スコアを付ける。最も高い回答の信頼度を持つパラグラフを選択する。
• 標準的なHotpotQA開発セットを用い、標準的な誤魔化し要因を用いてモデルを評価し、67.08 F1を達成した。
• 質問とのTF-IDF類似度を用いて誤魔化し要因を特定し、その後、モデルの予測された回答の信頼度に基づいて誤解を招くパラグラフを絞り込む。
• 人間の評価を実施し、1つの質問に対して2つのゴールパラグラフのうち1つだけを提供することで、不完全な証拠を模倣した。
• 誤魔かし要因を用いてモデルを微調整し、新しい誤魔かし要因分布に対する耐性と一般化能力をテストした。
• 誤魔かし要因に対してエンティティタイプのフィルタリングを適用し、ゴールパラグラフのエンティティタイプと一致するバイアスを低減した。

実験結果

リサーチクエスチョン

• RQ1 HotpotQAにおける構成的質問が、データセットが多段階推論を想定しているにもかかわらず、どの程度単一ステップのモデルで解けるのか？
• RQ2 なぜHotpotQAの多くの質問が、明示的に構成的であるにもかかわらず、単一ステップの推論で解けるのか？
• RQ3 誤魔かし要因選択が、単一ステップのモデルが多段階データセットで高い性能を発揮することを効果的に防げるのか？
• RQ4 より現実的で多様な、あるいは誤魔かし要因セットに直面した場合、単一ステップモデルの性能はどの程度低下するのか？
• RQ5 エンティティタイプと重複する事実が、多段階QAデータセットにおける単一ステップ解決法を可能にする役割を果たすのか？

主な発見

• 1ステップのBERTベースのモデルは、標準的なHotpotQA開発セットで67.08 F1を達成し、最先端の多段階モデルと同等の性能を示した。
• ゴールパラグラフの1つを除いた場合、80％以上のHotpotQAの質問が人間によって正しく回答可能であり、多段階推論が一貫して必要ではないことを示している。
• HotpotQAのブリッジ型質問の35％が、強いエンティティタイプの信号と証拠の重複のおかげで単一ステップの推論で解ける。
• 誤魔かし要因選択により、単一ステップモデルの性能は67.08 F1から46.84 F1に低下したが、これらの誤魔かし要因で微調整することで性能は60.10 F1まで回復した。これはモデルが新しい誤魔かし要因分布に適応できることを示している。
• オープンドメイン設定で500個のTF-IDFによる検索結果を用いた場合、1ステップモデルは39.12 F1にとどまり、標準的な検索手法がゴールパラグラフを特定できないことを示している。しかし、2つのゴールパラグラフを追加すると、性能は著しく向上し、53.12 F1まで上昇した。
• エンティティタイプで誤魔かし要因をフィルタリングすると、元の誤魔かし要因ではモデルの性能が40.73 F1に低下したが、誤魔かし要因をタイプでフィルタリングした上で再訓練することで、性能は58.42 F1まで回復した。これは、エンティティタイプのバイアスが単一ステップ解決法を可能にする主要因であることを示している。