[論文レビュー] Draft-Conditioned Constrained Decoding for Structured Generation in LLMs

Avinash Reddy, Thayne T. Walker+2 more|arXiv (Cornell University)|Feb 8, 2026

Topic Modeling被引用数 0

ひとこと要約

DCCDは、最初に制約のないドラフトを生成し、そのドラフトを条件として制約付きデコードを実行する2段階の推論法を導入し、モデルサイズと制約タイプを問わず厳密な構造的精度とパラメータ効率を向上させる。

ABSTRACT

Large language models (LLMs) are increasingly used to generate executable outputs, JSON objects, and API calls, where a single syntax error can make the output unusable. Constrained decoding enforces validity token-by-token via masking and renormalization, but it can distort generation when the model assigns low probability mass to valid continuations, pushing decoding toward locally valid yet semantically incorrect trajectories. We propose \emph{Draft-Conditioned Constrained Decoding (DCCD)}, a simple two-step, training-free inference procedure that decouples semantic planning from structural enforcement: an unconstrained draft is generated first, and constrained decoding is then applied, conditioned on this draft, to guarantee validity. We analyze DCCD through a KL-projection view, showing that draft conditioning increases feasible mass and reduces the cumulative "projection tax" induced by hard constraints, with an optional best-of-$K$ draft selection. Across structured reasoning benchmarks, DCCD improves strict structured accuracy by up to +24 percentage points over standard constrained decoding (e.g., 15.2\% to 39.0\% on GSM8K with a 1B model), and enables smaller model pairs to match or exceed much larger constrained baselines, yielding substantial gains in parameter efficiency.

研究の動機と目的

• 標準の制約付きデコード下でハード制約が構造生成をどう歪めるかを理解する。
• 制約の適用前に実現可能なマスを増やすため、ドラフト条件付きの2段階アプローチを提案する。
• モデル規模と制約タイプを跨いで、厳密な構造精度とパラメータ効率の改善を定量化する。
• テスト時のスケーリングとドラフトベースの選択戦略を評価する。
• 再現性のあるコードと、DCCDが有効となる状況と理由の洞察を提供する。

提案手法

• ドラフト生成（制約なし）に続くドラフト条件付き制約付きデコードのモデル非依存な2段階推論。
• 制約誘起の歪みと実現可能マスを分析するKL射影の観点。
• ドラフト条件付き実現可能マスと2モデル構成（ドラフトモデルと射影モデル）を定義。
• アルゴリズム1：K個のドラフトを生成し、それぞれのドラフトに条件付けした制約付きデコードを計算し、累積対数実現可能マスで最良を選択。
• ロバスト性を高めるためのオプションのKドラフト最適選択（Best-of-K）。
• GSM8K、MATH500、GSM-Symbolic、JSONスキーマ、文法、検証済み形式を用いたFOLIOでの経験的評価。

実験結果

リサーチクエスチョン

• RQ1 DCCDはモデルサイズ間で、プロンプトベースの方法および標準の制約付きデコードと比較して厳密な構造精度を改善するか？
• RQ2 DCCDは単一モデルの制約付きデコードと比較して2モデル構成によるパラメータ効率を達成できるか？
• RQ3 ドラフトのテスト時サンプリングは、制約付きデコードと比較してDCCDの性能とスケーリングにどう影響するか？
• RQ4 JSONスキーマ、式文法、検証済み形式など多様な制約タイプと推論ベンチマークで改善は一貫しているか？

主な発見

Dataset	Model Size	Algorithm	GSM8K	GSM Symbolic	Math500	FOLIO
GSM8K	1B	CP	7.51	6.00	6.40	0.00
GSM8K	1B	CF	13.80	9.00	11.60	0.00
GSM8K	1B	CD	15.24	0.00	6.00	19.70
GSM8K	1B	DCCD	39.04	9.00	19.80	21.67
GSM8K	1.5B	CP	13.27	11.00	15.00	0.00
GSM8K	1.5B	CF	48.22	23.00	21.60	0.00
GSM8K	1.5B	CD	49.36	12.00	15.00	14.78
GSM8K	1.5B	DCCD	73.92	23.00	38.20	18.23
GSM8K	3B	CP	59.14	19.00	30.00	1.00
GSM8K	3B	CF	71.80	25.00	32.40	0.00
GSM8K	3B	CD	73.24	17.00	33.40	20.69
GSM8K	3B	DCCD	84.53	36.00	46.80	21.67
GSM8K	7B	CP	80.06	31.00	40.40	0.00
GSM8K	7B	CF	82.26	29.00	44.20	0.00
GSM8K	7B	CD	81.58	26.00	43.60	19.70
GSM8K	7B	DCCD	91.28	41.00	52.80	31.53
GSM8K	8B	CP	76.80	17.00	27.00	0.00
GSM8K	8B	CF	70.20	14.00	24.80	0.49
GSM8K	8B	CD	80.89	19.00	28.60	23.15
GSM8K	8B	DCCD	83.02	30.00	35.00	27.09
GSM8K	14B	CP	91.13	44.00	47.00	0.00
GSM8K	14B	CF	90.52	49.00	45.80	0.49
GSM8K	14B	CD	86.43	37.00	47.60	18.72
GSM8K	14B	DCCD	95.15	53.00	58.60	25.62

• DCCDはモデル規模（1B–14B）と制約タイプを跨ってCP、CF、CDと比較して厳密な構造精度を一貫して改善する。
• DCCDはパラメータ効率の高いモデル組み合わせを実現し、より大きな単一モデルの制約付きベースラインよりもパラメータ当たりの精度が高い。
• ドラフトのテスト時サンプリングは、制約ベースのサンプリングを繰り返すよりもDCCDでより大きな利益を生み、一定点まで利益が増加する。
• DCCDは低容量モデルでの応答信頼度分布を高め、射影費用を低減する。
• データセット全体で、例としてGSM8Kの1BモデルはJSON制約下で厳格精度が15.24%から39.0%に向上；1.5Bモデルは49.36%から73.92%に向上。
• DCCDの2モデルアプローチにより、より小さなモデルがはるかに大きな制約付きベースラインに匹敵するか上回ることができ、顕著なパラメータ効率を示す。