[論文レビュー] TAT-QA: A Question Answering Benchmark on a Hybrid of Tabular and Textual Content in Finance

Fengbin Zhu, Wenqiang Lei+6 more|arXiv (Cornell University)|May 17, 2021

Topic Modeling参考文献 39被引用数 9

ひとこと要約

この論文は、表形式データと文章データを統合した大規模で現実世界のファイナンスQAベンチマーク、TAT-QAを紹介する。このベンチマークは、複雑な数値推論を要する。本研究では、表と文章から証拠を抽出するためのシーケンスタギングを用い、その後、集約演算子を用いた記号的推論を実行するTagOpモデルを提案。このモデルは58.0%のF1を達成し、先行研究のベースラインより11.1%高いが、人間のパフォーマンス（90.8% F1）にはまだ大きく及ばず、表と文章のハイブリッドデータを用いたQAの難易度が浮き彫りになる。

ABSTRACT

Hybrid data combining both tabular and textual content (e.g., financial reports) are quite pervasive in the real world. However, Question Answering (QA) over such hybrid data is largely neglected in existing research. In this work, we extract samples from real financial reports to build a new large-scale QA dataset containing both Tabular And Textual data, named TAT-QA, where numerical reasoning is usually required to infer the answer, such as addition, subtraction, multiplication, division, counting, comparison/sorting, and the compositions. We further propose a novel QA model termed TAGOP, which is capable of reasoning over both tables and text. It adopts sequence tagging to extract relevant cells from the table along with relevant spans from the text to infer their semantics, and then applies symbolic reasoning over them with a set of aggregation operators to arrive at the final answer. TAGOPachieves 58.0% inF1, which is an 11.1% absolute increase over the previous best baseline model, according to our experiments on TAT-QA. But this result still lags far behind performance of expert human, i.e.90.8% in F1. It is demonstrated that our TAT-QA is very challenging and can serve as a benchmark for training and testing powerful QA models that address hybrid form data.

研究の動機と目的

• 表形式と文章形式のファイナンスデータを統合し、数値推論を要する大規模で現実世界のQAデータセットが不足しているという問題に取り組む。
• 財務報告書における表と記述的テキストの間の密接な意味的・数値的依存関係を捉えるベンチマークを構築する。
• 表と文章の両方から証拠を統合し、正確な数値的答えを導くことができるモデルを提案する。
• モデルのパフォーマンス（58.0% F1）と人間の専門家パフォーマンス（90.8% F1）の顕著な差を示すことにより、数値推論を伴うハイブリッドデータQAの難易度を強調する。
• 研究を前進させるために、公開データセットとベースラインモデルを提供する。

提案手法

• TAT-QAデータセットは182件の実際の財務報告書から構築され、行・列見出しと数値データを含む表と、少なくとも2つの記述的段落がペアで構成されるハイブリッドコンテキストを抽出した。
• ファイナンス分野の専門知識を持つアノテーターが、加算、減算、乗算、除算、数え上げ、比較などの数値推論を要する質問と、完全な導出ステップを生成した。
• TagOpは、意味的および数値的関係を活用して、関連する表セルとテキストスパンを証拠として特定するためのシーケンスタギングを採用した。
• 抽出された証拠から、定義済みの集約演算子（例：合計、差、比）を用いた記号的推論を実行し、最終的な答えを算出する。
• 数値的答えのスケール（例：百万、十億）を予測するためのマルチクラス分類器を統合し、これはしばしば見出しやテキストに暗黙的に含まれている。
• フレームワークは、2,757件のハイブリッドコンテキストにまたがる16,552件の質問に対して評価され、F1スコアと証拠抽出、計算、スケール予測のエラー分析を用いてパフォーマンスを測定した。

実験結果

リサーチクエスチョン

• RQ1 財務報告書における表形式と文章形式のコンポonentから、効果的に証拠を抽出・統合できるQAシステムはどのように構築できるか？
• RQ2 構造的データと非構造的データの両方を対象とした記号的推論が、ファイナンス分野の数値QAパフォーマンスに与える影響は何か？
• RQ3 現在のモデルがハイブリッド財務データの推論においてどの程度失敗しているのか、主なエラー要因は何か？
• RQ4 統合されたモデルアーキテクチャは、従来のアプローチに比べ、ハイブリッドコンテキストにおける証拠抽出と数値推論をより効果的に処理できるか？
• RQ5 提案されたモデルのパフォーマンスは、現実世界の財務QAタスクにおいて人間の専門家と比べてどの程度か？

主な発見

• TAT-QAには、182件の実際の財務報告書から抽出された2,757件のハイブリッドコンテキストにまたがる16,552件の質問が含まれており、数値推論と導出ステップに強く注目が集まっている。
• TagOpはTAT-QAで58.0%のF1を達成し、最良のベースラインモデルより11.1%の絶対的向上を示した。
• 人間の専門家は90.8%のF1を達成しており、顕著なパフォーマンスギャップがあり、TAT-QAベンチマークの高い難易度が浮き彫りになった。
• 主なエラー要因（84%）は誤った証拠抽出であり、そのうち55%が誤った証拠、29%が欠落した証拠によるもので、表とテキストの統合的理解の難しさが浮き彫りになった。
• 顕著な割合（55%）のエラーは誤った証拠選択に起因し、9%は誤った計算、4%は根拠のない計算に起因しており、推論上の欠陥が明らかになった。
• スケール予測のエラーは全体の3%を占め、TagOpが明示的にスケールをモデル化しているにもかかわらず、大きさ（例：百万、十億）をモデル化することは依然として非自明な課題であることが示された。