[論文レビュー] TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data

Fengbin Zhu, Ziyang Liu+4 more|arXiv (Cornell University)|Jan 24, 2024

Semantic Web and Ontologies被引用数 4

ひとこと要約

TAT-LLM は、LLaMA 2 を微調整して、表形式データとテキストデータの両方に対して離散的推論を実行するための専用言語モデルである。3段階のパイプライン（抽出器、推論器、実行器）を用いる。FinQA、TAT-QA、TAT-DQA ベンチマークにおいて、より小さなベースモデルや GPT-4 や他の大規模モデルを上回る性能を示しており、タスク特化型のアプローチが、はるかに大きなモデルに匹敵またはそれを上回る推論性能を小さなモデルが達成できることを示している。

ABSTRACT

In this work, we address question answering (QA) over a hybrid of tabular and textual data that are very common content on the Web (e.g. SEC filings), where discrete reasoning capabilities are often required. Recently, large language models (LLMs) like GPT-4 have demonstrated strong multi-step reasoning capabilities. We then consider harnessing the amazing power of LLMs to solve our task. We abstract a Step-wise Pipeline for tabular and textual QA, which consists of three key steps, including Extractor, Reasoner and Executor, and initially design an instruction to instantiate the pipeline and validate that GPT-4 outperforms all existing methods. However, utilizing an online LLM like GPT-4 holds various challenges in terms of cost, latency, and data security risk, which motivates us to specialize smaller LLMs in this task. We develop a TAT-LLM language model by fine-tuning LLaMA 2 with the training data generated automatically from existing expert-annotated datasets following the Step-wise Pipeline. The experimental results have verified that our TAT-LLM model can outperform all baseline models, including the previous best fine-tuned models and very large-scale LLMs like GPT-4 on FinQA, TAT-QA and TAT-DQA benchmarks.

研究の動機と目的

• 表形式およびテキスト形式の混合データに対する質問応答という課題に取り組むこと。この課題は、四則演算、比較、数え上げなどの複雑な離散的推論を必要とする。
• 直接的な回答生成の限界を克服するため、明確な推論段階を備えた構造的で段階的なパイプラインに質問応答を分解すること。
• GPT-4 や他の大規模オンライン言語モデルのような大規模モデルに代わる、コスト効率が良く、安全で、高いパフォーマンスを発揮する代替手段を提供すること。そのために、このタスクに特化した小さなモデルを開発すること。
• 専門家がアノテートしたデータセットから自動生成されたデータで、小さな LLM を微調整することで、表形式およびテキスト形式の質問応答において優れたパフォーマンスを達成できることを検証すること。

提案手法

• TAT-LLM モデルは、専門家がアノテートした表形式およびテキスト形式の QA データセットから、段階的パイプラインを用いて合成データを生成し、LLaMA 2 に対して微調整されている。
• パイプラインは3段階からなる：抽出器（関連する証拠を特定）、推論器（論理的または数学的式を生成）、実行器（式を実行して答えを導出）。
• 各訓練インスタンスは、指示、表、テキスト、質問、応答という構造を持ち、応答は段階的出力の構造化された表形式でフォーマットされている。
• 数学的および論理的演算の正確な実行を保証するために、外部実行器が統合されており、信頼性を高め、計算誤りを低減している。
• モデルは、構造的で人間が読みやすい形式での複数ステップ推論出力を生成するように訓練されており、評価や改善が容易になる。
• 訓練データは、既存の専門家がアノテートした QA 例にパイプラインを適用することで自動的に合成されており、必要な推論構造と整合性を持つ。

Figure 1 . Examples of QA with discrete reasoning over a hybrid of tabular and textual data.

実験結果

リサーチクエスチョン

• RQ1 表形式およびテキスト形式のデータに対する離散的推論において、特化型の小さな言語モデルが GPT-4 や他の大規模汎用言語モデルを上回ることができるか？
• RQ2 抽出器、推論器、実行器からなる段階的パイプラインアーキテクチャは、混合データ QA の推論精度を向上させるのにどの程度有効か？
• RQ3 パイプライン構造に従った自動生成データで LLaMA 2 を微調整することで、表形式およびテキスト形式 QA ベンチマークでのパフォーマンスがどの程度向上するか？
• RQ4 外部実行器の統合は、推論パイプラインにおける数学的および論理的演算の信頼性をどの程度向上させるか？
• RQ5 推論パイプラインにおける主な誤り要因は何か。また、モデルの特化とデータ拡張によってそれらの誤りはどのように軽減できるか？

主な発見

• TAT-LLM (7B) は、FinQA、TAT-QA、TAT-DQA ベンチマークにおいて、すべてのベースラインモデル（以前の最良の微調整済みモデルおよび GPT-4 を含む）を上回るパフォーマンスを発揮した。
• TAT-QA の数え上げ質問では LLaMA 2-Chat (7B) と比較して 109.1% の相対的改善を達成し、TAT-DQA の四則演算質問では 200% を超える改善を示した。
• 外部実行器は、特に四則演算および論理演算における実行誤りを低減し、推論が重視されるタスクでのパフォーマンス向上に顕著な貢献をした。
• 誤り分析の結果、48% の誤りが抽出器段階に起因しており、主に誤った証拠選択に起因している。これは、表形式およびテキスト形式のコンテンツを正確に解釈するという課題が顕著であることを示している。
• TAT-LLM (7B) と LLaMA 2-Chat (7B) のパフォーマンス差は、四則演算および数え上げ質問で最も顕著であり、100% を超える向上が見られた。一方、スパンおよび複数スパンタイプの質問では、30% を超える改善が得られている。
• 外部実行器を搭載しない 70B パラメータの TAT-LLM でも、EM スコアの低下が 7 ポints 未満にとどまることが示された。これは、大規模モデルが inherently 強い推論能力を持つことを示唆しているが、外部実行器が精度向上に明確な利益をもたらしていることが確認された。

Figure 2 . Comparison between a) End-to-end Pipeline and b) Step-wise Pipeline . c) Our TAT-LLM language model is developed by fine-tuning LLaMA 2 (Touvron et al . , 2023b ) following the Step-wise Pipeline .