[論文レビュー] Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models

Zhi Rui Tam, Cheng-Kuang Wu+4 more|arXiv (Cornell University)|Aug 5, 2024

Topic Modeling被引用数 4

ひとこと要約

本研究では、JSON や XML、YAML などのフォーマット制限が大規模言語モデル（LLM）のパフォーマンスに与える影響を調査している。制約付き生成は推論能力を著しく低下させることを発見し、フォーマットの制限が厳しいほどパフォーマンスの低下が顕著になることが判明した。また、フォーマットの整合性を保ちつつモデルパフォーマンスを高めるために、緩いプロンプティング戦略の提案を行っている。

ABSTRACT

Structured generation, the process of producing content in standardized formats like JSON and XML, is widely utilized in real-world applications to extract key output information from large language models (LLMs). This study investigates whether such constraints on generation space impact LLMs abilities, including reasoning and domain knowledge comprehension. Specifically, we evaluate LLMs performance when restricted to adhere to structured formats versus generating free-form responses across various common tasks. Surprisingly, we observe a significant decline in LLMs reasoning abilities under format restrictions. Furthermore, we find that stricter format constraints generally lead to greater performance degradation in reasoning tasks.

研究の動機と目的

• 構造化出力におけるフォーマット制限が、推論および知識タスクにおける LLM パフォーマンスに悪影響を及えるかどうかを調査すること。
• 制約付きデコード（JSON モード）、フォーマット制限付き指示（FRI）、自然言語からフォーマットへのプロンプティングという、異なる構造化出力手法の影響を比較すること。
• フォーマット制限下でのパフォーマンス低下の根本的要因を特定し、緩和戦略を提案すること。
• 多様なタスクおよび LLM において、フォーマット準拠性とモデル品質のトレードオフに関する実証的証拠を提供すること。

提案手法

• API フラグを用いて制約付きデコード（JSON モード）を適用し、生成中に有効な JSON 出力を強制した。
• フォーマット制限付き指示（FRI）は、LLM に明示的なフォーマット制約（例：JSON、XML、YAML）を設けることで、特定フォーマットでの出力を行うように指示した。
• 自然言語からフォーマットへのプロンプティングは、内容生成とフォーマット処理を分離する戦略であり、まず自然言語を生成し、その後で目的のスキーマに変換した。
• ゼロショットプロンプティングを、GSM8K、Last Letter、Shuffled Objects、DDXPlus、Sports、Task280、MultiFin といった複数のデータセットで実施した。
• パフォーマンス評価には標準指標（正解率、F1 スコア）を用い、複数回の実行と標準偏差を統計的に報告した。
• テスト対象モデルには、GPT-3.5-turbo、Gemini 1.5 Flash、Claude 3 Haiku、LLaMA 3 8B、Gemma2-9B-IT が含まれ、推論および分類タスクで評価された。

Figure 1: GPT-3.5-turbo prompted with GSM8K math questions in standard natural language answered correctly, but failed when format restrictions were applied.

実験結果

リサーチクエスチョン

• RQ1 JSON や XML、YAML といった構造化フォーマットへの制限が、LLM の推論パフォーマンスを低下させるか？
• RQ2 フォーマット制限の厳しさが、異なるタスクにおけるモデルパフォーマンスにどのように影響するか？
• RQ3 フォーマット制限下でのパフォーマンス低下の背後にある根本的要因は何か？
• RQ4 緩いプロンプティング戦略は、構造化出力を維持しつつも、高いパフォーマンスを維持できるか？

主な発見

• GPT-3.5-turbo の GSM8K 正解率は、自然言語出力時（76.60%）から JSON モード時（49.25%）に低下し、27.35 パcentage point の低下を示した。
• Gemini 1.5 Flash では、Last Letter タスクの正解率が自然言語出力時（65.45%）から JSON モード時（77.02%）に上昇したが、これはトレンドの外れであり、20.12 ポイントの上昇であった。
• LLaMA 3 8B の GSM8K スコアは、自然言語出力時（74.73%）から JSON モード時（48.90%）に低下し、25.83 ポイントの低下を示した。
• 自然言語からフォーマットへのプロンプティングは、推論タスクにおいて FRI や JSON モードを常に上回り、全モデルの平均正解率が最も高かった。
• 分類タスクでは、一部のモデル（例：DDXPlus タスクにおける Gemini 1.5 Flash）では JSON モードが自然言語出力より優れていたが、全モデル・全タスクで一貫性はなかった。
• YAML 形式は推論タスクで最も高いばらつきと最悪のパフォーマンスを示し、LLaMA 3 8B は Shuffled Objects タスクでわずか 9.57% の正解率にとどまった。

Figure 2: When comparing reasoning related task such as GSM8K, Last Letter and Shuffled Objects, we found more relaxed prompts typically yields better results as JSON-mode performs the worse in most case followed by FRI, NL to Format and Natural Language (NL)