[論文レビュー] Chart Specification: Structural Representations for Incentivizing VLM Reasoning in Chart-to-Code Generation

Minggui He, Mingchen Dai+6 more|arXiv (Cornell University)|Feb 11, 2026

Handwritten Text Recognition Techniques被引用数 0

ひとこと要約

この論文は Chart Specification を導入します。視覚的構造をコードと合わせて強調する構造指向の中間表現で、データ効率の良い訓練と細粒度の構造報酬を用いた強化学習を可能にし、チャートからコードへの生成を改善します。

ABSTRACT

Vision-Language Models (VLMs) have shown promise in generating plotting code from chart images, yet achieving structural fidelity remains challenging. Existing approaches largely rely on supervised fine-tuning, encouraging surface-level token imitation rather than faithful modeling of underlying chart structure, which often leads to hallucinated or semantically inconsistent outputs. We propose Chart Specification, a structured intermediate representation that shifts training from text imitation to semantically grounded supervision. Chart Specification filters syntactic noise to construct a structurally balanced training set and supports a Spec-Align Reward that provides fine-grained, verifiable feedback on structural correctness, enabling reinforcement learning to enforce consistent plotting logic. Experiments on three public benchmarks show that our method consistently outperforms prior approaches. With only 3K training samples, we achieve strong data efficiency, surpassing leading baselines by up to 61.7% on complex benchmarks, and scaling to 4K samples establishes new state-of-the-art results across all evaluated metrics. Overall, our results demonstrate that precise structural supervision offers an efficient pathway to high-fidelity chart-to-code generation. Code and dataset are available at: https://github.com/Mighten/chart-specification-paper

研究の動機と目的

• 視覚的表現に依存した表層的トークン模倣の限界を特定する。
• Chart Specification を、視覚的意図とコード実行を橋渡しする最小限の十分な構造表現として提案する。
• 多様なチャートトポロジを網羅する構造的にバランスの取れた ChartStruct データセットを構築する。
• 強化学習の細粒度で検証可能なフィードバックを提供する Spec-Align 報酬を開発する。
• 3つの公開ベンチマークでデータ効率が高く最先端の性能を示す。

提案手法

• Chart Specification を二部構造のスキーマとして定義する：S = <S_sem, S_code>。S_sem は全球的なトポロジー、座標系、データドメイン、解析表現を符号化し、S_code はランタイムの介入によって数値的事実を地盤づける。
• 55 の構造カテゴリ（S_struct）に整理された structurally balanced な学習コーパス ChartStruct を構築し、20 のチャートファミリにまたがる難易度認識サンプリング（ρ 階層 90/72/54）。
• グループ相対最適化（GRPO）フレームワーク内で Spec-Align 報酬を導入し、階層的報酬ツリーを用いてフェーズを「完全性（形式、実行）」と「意味/コード忠実度（R_sem, R_code）」に分ける。
• R_sem は Topology Gate、Coord、Domain、Series、Data/Func の構成要素を組み合わせ、R_code はランタイムコード比較に基づくファミリ特有の指標（統計、関係、ベクトル、補助）を追加する。
• ChartStruct の 4K インスタンス化を Qwen2.5-VL-7B のバックボーンで訓練し、GRPO 下で 3 エポック、32 バッチの微調整を行い、ChartMimic、Plot2Code、ChartX のベンチマークで評価する。

Figure 1: Motivation for structure-aware chart reasoning. (Top) Direct chart-to-code models rely on surface-level imitation and often hallucinate structural dependencies. (Bottom) By explicitly modeling chart structure via Chart Specification, our approach enforces constraint-consistent plotting log

実験結果

リサーチクエスチョン

• RQ1 構造に焦点を当てた中間表現は、チャートからコードへの生成における構造的忠実度にどのような影響を与えるか。
• RQ2 構造的にバランスの取れたデータセットは、チャート推論タスクのデータ効率と一般化を改善できるか。
• RQ3 Spec-Align はチャートコード生成の強化学習を高める意味のある検証可能な報酬を提供するか。
• RQ4 Chart Specification はベンチマークデータセットにおいて最先端のベースラインと比較してどの程度性能を発揮するか。
• RQ5 構造認識付き監督が幻視を減らしコード実行を改善する上での限界と利点は何か。

主な発見

Model	Para.	Exec. Rate	Low-Level	High-Level	Overall
ChartSpec (4K)	7B	93.5%	-	-	82.4%
ChartCoder	-	-	-	-	75.7%
GPT-4o	-	-	-	-	81.2%

• ChartSpec は ChartMimic のオープンソース ML 系モデルの中で 3k データで総合スコア 79.9、4k データで 82.4 のリーディング性能を達成。
• 4k データで ChartSpec は一部の商用モデル（例：GPT-4o の 81.2 など）を上回り、トップシステムとの差を縮める。
• リーダーボードでの最高の Execution Rate（93.5%）を達成し、コードの妥当性が高く実行時の失敗が少ないことを示す。
• ChartStruct は構造的に複雑なチャートを優先することでデータ効率性を高め、4K で最先端の結果を達成し、従来の大規模ベースラインよりもはるかに少ないサンプルで済む。
• Spec-Align 報酬は多段階の報酬ツリーを通じて密度の高い検証可能なフィードバックを提供し、純粋な監督付きベースラインより構造的忠実度と論理的一貫性を向上させる。
• 3 つのベンチマーク（ChartMimic、Plot2Code、ChartX）全体の実験により、堅牢な利得とデータ効率の良いチャートからコードへの生成が示される。

Figure 2: The Overview of Our Framework. (A) Specification-Driven Data Curation: Adopting Chart Specification ( $\mathcal{S}$ ) to extract semantic intent ( $\mathcal{S}_{sem}$ ) and physical execution data ( $\mathcal{S}_{code}$ ) from raw scripts, and guiding the curation of the ChartStruct corpus