[論文レビュー] FeTaQA: Free-form Table Question Answering

Linyong Nan, Chia-Chun Hsieh+15 more|arXiv (Cornell University)|Apr 1, 2021

Topic Modeling参考文献 45被引用数 4

ひとこと要約

FeTaQAは、自由形式の表質問に対するアドホックな回答を要する10,000件のWikipediaベースの{質問, 表, 自由形式の回答, 支援セル}の三つ組みを含む、新たなベンチマークデータセットを導入した。複雑な推論と断続的な事実の統合を要する。研究ではパイプライン型およびエンドツーエンド型のモデルを評価し、最新のモデルですら文の流れ、正しさ、忠実性において困難を示しており、生成型表QAシステムにとっての挑戦を浮き彫りにした。

ABSTRACT

Existing table question answering datasets contain abundant factual questions that primarily evaluate the query and schema comprehension capability of a system, but they fail to include questions that require complex reasoning and integration of information due to the constraint of the associated short-form answers. To address these issues and to demonstrate the full challenge of table question answering, we introduce FeTaQA, a new dataset with 10K Wikipedia-based {table, question, free-form answer, supporting table cells} pairs. FeTaQA yields a more challenging table question answering setting because it requires generating free-form text answers after retrieval, inference, and integration of multiple discontinuous facts from a structured knowledge source. Unlike datasets of generative QA over text in which answers are prevalent with copies of short text spans from the source, answers in our dataset are human-generated explanations involving entities and their high-level relations. We provide two benchmark methods for the proposed task: a pipeline method based on semantic-parsing-based QA systems and an end-to-end method based on large pretrained text generation models, and show that FeTaQA poses a challenge for both methods.

研究の動機と目的

• 既存の表QAデータセットが短い形式の回答に焦点を当てており、複雑な推論や説明の生成を捉えていないという限界を是正する。
• 半構造化された表から複数の事実や高レベルの関係を統合する必要がある、現実世界のユーザーの質問を反映するデータセットを構築する。
• 単なる抽出を超えて、推論、一貫性、忠実性を重視する生成型表質問応答のベンチマークを提供する。
• パイプライン型およびエンドツーエンド型モデルの性能を、挑戦的で人間がアノテートした自由形式の回答生成タスク上で評価する。
• 現在のモデルが、流暢さ、正しさ、適切さ、忠実性に欠ける回答を生成していることを示し、より良いアーキテクチャと学習戦略の必要性を示した。

提案手法

• Wikipediaの表から10,000件の質問-回答ペアを収集し、多様なトピックと半構造化されたフォーマット（正規化されていないテキスト、日付、数値を含む）を保証することでFeTaQAを構築する。
• 複数の断続的な事実の取得とエンティティ関係の推論を要する質問を設計し、自由形式の回答を人間が生成した説明とする。
• TAPASを用いた表の意味的解析と、シーケンス・ツー・シーケンス生成器による表面的実現を組み合わせたパイプライン手法を実装する。
• T5を微調整したエンドツーエンド手法を提案し、単一のシーケンス・ツー・シーケンスフレームワーク内でクエリ理解、表の推論、テキスト生成を同時に学習する。
• 人間による評価を用いて、モデル出力の流暢さ、正しさ、適切さ、忠実性を評価し、ゴールドスタンダードの人的基準と比較する。
• 自動評価指標と人間による評価を用いて、アノテーションの質とタスクの難易度を検証する。

実験結果

リサーチクエスチョン

• RQ1 既存の表QAシステムは、Wikipediaの表において複数の断続的な事実を推論して要請される自由形式で、一貫性があり、事実に忠実な回答を生成できるか？
• RQ2 パイプライン型とエンドツーエンド型アプローチは、表QAタスクにおける複雑な説明的回答の生成において、どのように比較されるか？
• RQ3 現在の大きな言語モデルおよび意味的解析システムは、挑戦的で人間がアノテートした表QAベンチマークにおいて、どれほど流暢さ、正しさ、適切さに欠ける回答を生成するのか？
• RQ4 現在のモデルが構造化された知識源から説明を生成する際の主な失敗モードは何か？
• RQ5 正しさと忠実性という観点から、人間がアノテートした自由形式の回答とモデルが生成した出力の質は、どのように比較されるか？

主な発見

• エンドツーエンド型のT5ベースのモデルは、すべての人的評価指標でパイプライン手法を上回り、正しさ54.8%、適切さ48.4%、忠実性50.4%を達成した。これに対してパイプラインモデルは25.4%、8.4%、23.6%であった。
• 人間の基準は正しさ92.4%、忠実性95.6%を達成しており、現在のモデルと人間レベルの性能の間には大きなギャップがあることが示された。
• パイプラインモデルは正しさと適切さにおいて著しく困難を示しており、別々のモジュールを用いた場合のコンテンツ選択と表面的実現の限界が顕在化している。
• モデル出力と人間基準の間の流暢さと正しさにおける大きな開きは、FeTaQAが現在の表QAシステムにとって大きな挑戦であることを裏付けた。
• 人的評価により、データセットのアノテーションの高品質さが確認され、基準回答の流暢さ95.0%、適切さ90.6%を達成しており、データセットの信頼性が裏付けられた。
• 結果は、現在のモデルが表から複雑で忠実な説明を生成するための十分な推論および統合能力を欠いていることを示しており、新たなモデルアーキテクチャと学習パラダイムの必要性を示唆した。