[論文レビュー] Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data?

Xiangru Tang, Yiming Zong+5 more|arXiv (Cornell University)|Sep 16, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文では、大規模言語モデル（LLMs）が生のテキスト、HTML、LaTeX形式で複雑な構造化データを生成する能力を評価するためのベンチマーク、Struc-Benchを紹介する。GPT-3.5とGPT-4に顕著な欠陥が見つかり、特にフォーマット、内容の正確性、推論の分野で問題が顕在化する。その後、フォーマットに配慮した微調整手法であるFormatCoTを用いて、LLaMA-7Bのフォーマット制約への準拠を向上させる手法を提案。この手法により、学習済みデータおよび未学習データの両方で、ベースラインのLLMsを顕著に上回る性能が得られた。

ABSTRACT

Despite the remarkable capabilities of Large Language Models (LLMs) like GPT-4, producing complex, structured tabular data remains challenging. Our study assesses LLMs' proficiency in structuring tables and introduces a novel fine-tuning method, cognizant of data structures, to bolster their performance. We unveil Struc-Bench, a comprehensive benchmark featuring prominent LLMs (GPT-NeoX-20B, GPT-3.5, GPT-4, and Vicuna), which spans text tables, HTML, and LaTeX formats. Our proposed FormatCoT aids in crafting format-specific instructions from the intended outputs to populate this benchmark. Addressing the gap in task-centered evaluation, we propose two innovative metrics, P-Score (Prompting Score) and H-Score (Heuristical Score), to more accurately gauge LLM performance. Our experiments show that applying our structure-aware fine-tuning to LLaMA-7B leads to substantial performance gains, outshining its LLM counterparts across most measures. In-depth error analysis and creating an ability map across six dimensions -- coverage, formatting, reasoning, comprehension, pragmatics, and hallucination -- highlight areas for future enhancements and suggest forthcoming research trajectories. Our code and models can be found at https://github.com/gersteinlab/Struc-Bench.

研究の動機と目的

• 現在のLLMsが、生のテキスト、HTML、LaTeXなどの複数のフォーマットで複雑な構造化データを生成する能力を体系的に評価すること。
• GPT-3.5やGPT-4のような最先端のLLMsにおける、フォーマット、内容の正確性、数値的推論、長テーブル処理の分野での具体的な失敗モードを同定すること。
• 実世界の構造化データの多様な例を含む、細かく分類可能な評価が可能な包括的ベンチマーク、Struc-Benchを構築し、単純なコンテンツ重複度の指標を超える評価を可能にすること。
• 目標出力からフォーマット指示を生成するFormatCoTを用いた構造に配慮したインstructチューニング手法を提案・検証し、LLMsの構造化フォーマットへの一般化能力を向上させること。
• カバレッジ、フォーマット、推論、理解、実用的配慮、幻覚制御の6次元にわたる能力マップを作成し、構造化生成におけるLLMsの強みと弱みを特徴づけること。

提案手法

• 生のテキスト、HTML、LaTeXテーブルをカバーする、構造化出力生成をテストするための、キュレートされたデータセットを備えたStruc-Benchを開発。
• GPT-3.5を用いて、ターゲット出力から詳細なフォーマット記述（FormatCoT）を生成。人間が読みやすいフォーマット要件を、構造化された指示に変換。
• これらのフォーマット指示を用いてLLaMA-7Bを微調整。トレーニング中にフォーマット固有の制約を学習できるようにする。
• 2段階の評価パイプラインを採用：GPT-4ベースの類似度プロンプトによる自動スコア（内容および構造的類似度、0〜10のスケール）、および手動によるエラー分析。
• コンテンツカバレッジ、フォーマット、推論、理解、実用的配慮、幻覚制御の各分野におけるエラー分析に基づき、多次元の能力マップを構築。
• フォーマットおよびコンテンツ記述を入力としてゼロショット推論を適用。これにより、モデルが指定された構造的テンプレートに厳密に従って出力を生成することを保証。

Figure 1: A system for describing complex structured formats and learning to follow this format in human language. We use zero-shot for inference.

実験結果

リサーチクエスチョン

• RQ1 GPT-3.5 や GPT-4 などの現在の LLM は、生のテキスト、HTML、LaTeX 形式で複雑な構造化データをどれほど効果的に生成できるか？
• RQ2 フォーマット、内容の正確性、数値的推論、長テーブル処理の分野で、LLM が出力する構造化データに顕在する主な失敗モードは何か？
• RQ3 FormatCoT を用いてフォーマット指示を生成する構造に配慮したインストラクションチューニングは、LLM が正しい構造化出力を生成する能力を顕著に向上させることができるか？
• RQ4 微調整された LLaMA-7B の性能は、GPT-3.5、GPT-4、Vicuna に対するゼロショット推論と比較して、学習済みおよび未学習の構造化データフォーマットの両方でどうなるか？
• RQ5 カバレッジ、フォーマット、推論、幻覚制御といった、モデルの能力のどの次元が、構造化データ生成において最も顕著に制限要因となるか？

主な発見

• GPT-3.5 と GPT-4 は構造化生成において顕著な失敗率を示し、GPT-3.5 の出力のうちわずか 3% が完全に正しい。主な要因はフォーマットエラーと内容の不正確さである。
• 提案された構造に配慮した微調整手法により、LLaMA-7B の構造化データ生成性能が向上。学習済みおよび未学習データの両方で、GPT-4 を含むすべての評価対象 LLM を上回った。
• FormatCoT で生成された指示により、LLaMA-7B はフォーマット適合性に高い忠実性を達成。モデルの性能は、的確なインstructチューニングによって顕著に向上させられることを示した。
• 能力マップは、LLMs がフォーマット推論、複雑な入力の理解、幻覚制御の分野で特に困難を抱えていることを明らかにした。特に長テーブルや数値的推論タスクで顕著である。
• GPT-3.5 と GPT-4 の出力では、コンテンツ類似度スコアが平均 5.2、構造的類似度スコアが 4.8 にとどまり、両方の分野で真値から顕著なずれが生じていることが示された。
• ベンチマークは、語の重複に依存する従来の評価指標が、構造化データでは不十分であることを特定。フォーマットレベルの誤りや構造的不整合を捉えられていない。

Figure 2: Error analysis by human annotation. Some error types are explained in Appendix A .