[論文レビュー] HybridQA: A Dataset of Multi-Hop Question Answering over Tabular and Textual Data

Wenhu Chen, Hanwen Zha+4 more|arXiv (Cornell University)|Apr 15, 2020

Topic Modeling参考文献 26被引用数 12

ひとこと要約

HybridQA は、Wikipedia の表と関連付いた自由形式のテキストパラグラフの両方を統合してマルチホップ推論を要する大規模なクラウドソーシング型質問応答データセットである。このデータセットは、両モダリティを統合するモデルが 40% を超える正確一致（EM）を達成する一方で、表のみまたはテキストのみに依存するベースラインモデルは 20% 未満の EM を示すため、複雑な QA タスクにおいて異種情報統合の必要性を示している。

ABSTRACT

Existing question answering datasets focus on dealing with homogeneous information, based either only on text or KB/Table information alone. However, as human knowledge is distributed over heterogeneous forms, using homogeneous information alone might lead to severe coverage problems. To fill in the gap, we present HybridQA https://github.com/wenhuchen/HybridQA, a new large-scale question-answering dataset that requires reasoning on heterogeneous information. Each question is aligned with a Wikipedia table and multiple free-form corpora linked with the entities in the table. The questions are designed to aggregate both tabular information and text information, i.e., lack of either form would render the question unanswerable. We test with three different models: 1) a table-only model. 2) text-only model. 3) a hybrid model that combines heterogeneous information to find the answer. The experimental results show that the EM scores obtained by two baselines are below 20\%, while the hybrid model can achieve an EM over 40\%. This gap suggests the necessity to aggregate heterogeneous information in HybridQA. However, the hybrid model's score is still far behind human performance. Hence, HybridQA can serve as a challenging benchmark to study question answering with heterogeneous information.

研究の動機と目的

• 既存の QA データセットがテキストのみまたは表のみに依存する均質的情報に依存するという制限を解決する。これは現実世界の知識分布を反映していない。
• 表と非構造的テキストパラグラフの両方からの証拠統合を必要とする、現実的で実用的な QA ベンチマークを構築する。
• 均質的データソース間でのマルチホップ推論の必要性を示すために、均質的モデルが著しく低い性能を示すことを実証する。
• ハイブリッド質問応答システムの研究を促進する、挑戦的で大規模なデータセットを提供する。
• 表とテキスト推論を統合する強力なベースラインモデル（hybrider）を確立し、モジュラーアーキテクチャにおける誤差伝搬問題を明らかにする。

提案手法

• Wikipedia の表と関連付いたハイパーリンク付きテキストパラグラフを用いて、クラウドソーシングで 70,000 個の質問-回答ペアを収集した。
• 表のみまたはテキストのみで答えられない質問を設計し、両方のデータ形式に依存するようにした。
• 3 つのモデルを実装した：表のみ、パラグラフのみ、および両モダリティを横断してマルチホップ推論を実行するハイブリッドモデル（hybrider）。
• hybrider ではモジュラーパイプラインを採用した：(1) 表推論により関連するセルを特定、(2) 表のエンティティに基づいてパラグラフを検索、(3) 読解理解により答えのスパンを抽出。
• 表推論および読解理解に BERT をベースとするモデルを適用し、信頼度フィルタリングに温度スケーリング（τ=0.8）を適用した。
• 推論プロセスを段階に分解して誤差タイプを分析した：表ホップ、パラグラフ検索、読解理解、および答え予測。

実験結果

リサーチクエスチョン

• RQ1 テキストのみまたは表のみに訓練されたモデルは、表とテキストの両方からの証拠を必要とする質問を効果的に回答できるか？
• RQ2 異種情報の統合は、複雑でマルチホップな QA タスクにおいてどの程度性能を向上させるか？
• RQ3 ハイブリッド QA システムにおける支配的な誤差パターンは何か？また、誤差伝搬はエンドツーエンドの性能にどのように影響するか？
• RQ4 モジュラーなハイブリッドモデルの性能は、異種情報源を横断するマルチホップ推論を要するデータセットにおいて、人間の性能と比べてどうか？
• RQ5 均質的モデルとハイブリッドモデルの性能差は統計的に有意であり、異種情報統合の必要性を裏付けるものか？

主な発見

• 表のみおよびパラグラフのみのベースラインは、EM スコアが 20% 未満であり、単一のデータモダリティに依存する場合の深刻な制限を示している。
• ハイブリッドモデル（hybrider）は 40% を超える EM スコアを達成しており、表とテキストの両方の証拠統合による顕著な性能向上を示している。
• 誤差分析から、読解理解ステージが最も誤りが多く、61.9% の誤差率を示しており、全体の失敗に大きく寄与していることが判明した。
• 誤差伝搬が顕著に見られる：段階ごとの正確率の積（87.4% × 87.9% × 89.2% × 61.9%）は、全体のモデル正確率（約 42%）とよく一致しており、誤差伝搬が主な課題であることを確認した。
• ハイブリッドモデルの性能は人間の性能から大きく離れており、HybridQA が将来的な研究のための挑戦的なベンチマークであることが示された。
• 注釈のキャリブレーションを慎重に行い、単一ホップや均質的モデルの悪用を防ぐようにデータセットを設計した。これにより、各質問に対して両方のデータ形式が不可欠であることが保証された。