[論文レビュー] Reasoning over Hybrid Chain for Table-and-Text Open Domain QA

Wanjun Zhong, Junjie Huang+5 more|arXiv (Cornell University)|Jan 15, 2022

Topic Modeling被引用数 10

ひとこと要約

本稿では、テーブルとテキストのオープンドメイン質問応答のためのチェーン中心の推論および事前学習フレームワークであるCARPを提案する。本研究では、中間的推論をテーブルとテキストを接続するハイブリッドチェーンとしてモデル化し、合成された推論経路を用いた新しいチェーン中心の事前学習手法により推論を強化し、OTT-QAで最先端の性能を達成するとともに、複雑な推論タスクにおける解釈可能性と耐性の向上を実現した。

ABSTRACT

Tabular and textual question answering requires systems to perform reasoning over heterogeneous information, considering table structure, and the connections among table and text. In this paper, we propose a ChAin-centric Reasoning and Pre-training framework (CARP). CARP utilizes hybrid chain to model the explicit intermediate reasoning process across table and text for question answering. We also propose a novel chain-centric pre-training method, to enhance the pre-trained model in identifying the cross-modality reasoning process and alleviating the data sparsity problem. This method constructs the large-scale reasoning corpus by synthesizing pseudo heterogeneous reasoning paths from Wikipedia and generating corresponding questions. We evaluate our system on OTT-QA, a large-scale table-and-text open-domain question answering benchmark, and our system achieves the state-of-the-art performance. Further analyses illustrate that the explicit hybrid chain offers substantial performance improvement and interpretablity of the intermediate reasoning process, and the chain-centric pre-training boosts the performance on the chain extraction.

研究の動機と目的

• 異種の知識源—構造化されたテーブルと非構造化されたテキスト—の間で推論を行う課題に対処すること。
• ブラックボックス型の推論モデルの限界を克服するために、テーブルとテキストの間で中間的推論ステップを明示的にモデル化すること。
• ウィキペディアから抽出した大規模な擬似異種推論経路を用いることで、推論アノテーションにおけるデータスパarsityを低減すること。
• チェーン抽出とクロスモダリティ推論に焦点を当てた新しい事前学習手法を用いることで、モデルの汎化能力と推論能力を向上させること。
• 推論プロセスを明示的かつ追跡可能にするために、QAシステムの解釈可能性と性能を向上させること。

提案手法

• 検索されたテーブルと記事から得られる情報の断片をノードとし、構造的および意味的接続をエッジとする異種グラフを構築する。
• トランスフォーマーに基づくモデルを用いて、グラフから最も妥当なハイブリッド推論チェーン（回答への段階的経路）を抽出する。
• ウィキペディアのテーブルと記事から自動的に大規模な推論経路を合成する、チェーン中心の事前学習手法を設計する。
• 合成された推論経路から対応するマルチホップ質問を生成し、クロスモダリティ推論パターンの学習に用いる。
• 合成された推論コーパスを用いて、チェーン抽出ヘッドとQAヘッドを同時に微調整することで、推論の追跡可能性と正答率の両方を向上させる。
• テーブルの明確な構造とテーブルとテキストの間の接続を活用し、複雑なマルチホップ推論経路の自動構築を支援する。

実験結果

リサーチクエスチョン

• RQ1 明示的なハイブリッド推論チェーンは、テーブルとテキストのオープンドメイン質問応答の性能と解釈可能性を向上させるか？
• RQ2 人間がアノテートした推論チェーンが存在しない状況でも、チェーン中心の事前学習手法はモデルの推論能力を向上させるか？
• RQ3 合成された推論コーパスは、複雑なマルチホップ推論質問における汎化能力をどの程度向上させるか？
• RQ4 エンドツーエンド手法と比較して、ハイブリッドチェーン機構は、重複するテーブルや記事の内容に起因するノイズを軽減するか？
• RQ5 数値比較や順序論理を含む挑戦的な推論パターンにおいて、このフレームワークはどの程度の性能を示すか？

主な発見

• 提案されたCARPフレームワークは、OTT-QAベンチマークで最先端の性能を達成し、既存の手法よりもオープンドメインのテーブルとテキストのQAで優れた結果を示した。
• チェーン中心の事前学習手法は、特に複雑でマルチホップな推論質問において、ハイブリッドチェーン抽出モデルの性能を顕著に向上させた。
• 明示的なハイブリッドチェーンは、複数の情報ソースをまたがる推論を要する質問において、顕著な性能向上をもたらした。
• 事前学習における合成推論経路の使用は、人間がアノテートした推論チェーンに起因するデータスパarsity問題を効果的に緩和した。
• ハイブリッドチェーン機構により、中間的推論ステップが追跡可能で説明可能となり、モデルの解釈性が向上した。
• 誤差解析の結果、主な失敗要因はノイズの多い検索ブロックと、複雑な数値比較の処理の難しさに起因しており、検索の信頼性と数値推論の能力向上に余地があることが示唆された。