[論文レビュー] SciFlow-Bench: Evaluating Structure-Aware Scientific Diagram Generation via Inverse Parsing

Tong Zhang, Honglin Lin+3 more|arXiv (Cornell University)|Feb 10, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

SciFlow-Benchは、最終画像を標準的なグラフへ逆パースする構造優先のベンチマークを導入し、階層的マルチエージェントシステムを用いて構造の再現性を保証します。モデル間で視覚的忠実度と構造の正しさの間にギャップがあることを明らかにします。

ABSTRACT

Scientific diagrams convey explicit structural information, yet modern text-to-image models often produce visually plausible but structurally incorrect results. Existing benchmarks either rely on image-centric or subjective metrics insensitive to structure, or evaluate intermediate symbolic representations rather than final rendered images, leaving pixel-based diagram generation underexplored. We introduce SciFlow-Bench, a structure-first benchmark for evaluating scientific diagram generation directly from pixel-level outputs. Built from real scientific PDFs, SciFlow-Bench pairs each source framework figure with a canonical ground-truth graph and evaluates models as black-box image generators under a closed-loop, round-trip protocol that inverse-parses generated diagram images back into structured graphs for comparison. This design enforces evaluation by structural recoverability rather than visual similarity alone, and is enabled by a hierarchical multi-agent system that coordinates planning, perception, and structural reasoning. Experiments show that preserving structural correctness remains a fundamental challenge, particularly for diagrams with complex topology, underscoring the need for structure-aware evaluation.

研究の動機と目的

• 科学図のピクセルレベル類似性を超えた構造を preserving する評価を動機づける。
• PDF の実際のフレームワーク図から自動的に標準的な ground-truth グラフを構築する。
• 決定論的な逆パースの往復を用いて、ブラックボックス画像生成モデルを評価する。
• 視覚品質と構造的正確性の関係をモデルタイプごとに分析する。
• 階層的マルチエージェントシステムが一貫したグラフ構築とパースを可能にする役割を強調する。

提案手法

• テキストから図像を生成し、次に画像を逆パースして canonical ground-truth グラフと比較する往復評価を定義する。
• 階層的マルチエージェントシステム（計画、認識、推論）を介してソースフレームワーク図から自動的に canonical ground-truth グラフを構築する。
• 三層 HMAS パイプラインを使用する：認知計画（方法論家とビジュアル翻訳者）、細粒度認識（環境キュレーター、形状ハンター、テキストスポッター）、構造推論（トポロジーコーダーとグラフアーキテクト）。
• 真偽グラフと予測グラフを用いて、グラフレベル、テキストレベル、画像レベルの指標を決定論的で構造認識的な方法で計算する。
• すべてのモデルをブラックボックスの画像生成器として扱い、最終的にレンダリングされた出力で評価する統一的評価プロトコルを提供する。
• ピクセルベースの生成器をコード駆動のベースライン（Graphviz）と比較し、視覚的類似性より構造的再現性を分析する。

実験結果

リサーチクエスチョン

• RQ1 生成された図を canonical ground-truth に一致するように構造的に回復できるか？
• RQ2 拡散、マルチモーダル大規模言語モデル、自己回帰型 VLM など、異なるモデルファミリは easy/mid/hard トポロジーのサブセットで構造を維持する性能に差があるか？
• RQ3 アーキテクチャ全体で視覚的妥当性と構造的正確性の間に持続的なギャップが存在するか？
• RQ4 Shape Hunter、Text Spotter など個別のパース要素が構造回復に与える影響は？

主な発見

Domain	Node Prec.	Node Rec.	Node F1	Edge Prec.	Edge Rec.	Edge F1
Computer Vision	0.88	0.93	0.89	0.65	0.67	0.65
NLP	0.92	0.97	0.94	0.77	0.86	0.81
Machine Learning Theory	0.87	0.92	0.89	0.58	0.72	0.62
Integrated Circuits	0.93	0.96	0.94	0.74	0.79	0.76
Robotics	0.83	0.96	0.88	0.69	0.81	0.72
Overall	0.89	0.95	0.91	0.69	0.77	0.71

• 構造的回復性は根本的な課題であり、多くのモデルは視覚を保持してもトポロジーの正確性を維持できない。
• 5つの領域で、ノードレベルとエッジレベルのトポロジー指標はモデル間に強い構造差を示し、自己回帰型 VLM が総合的な構造スコアで最も高い。
• 拡散のみのモデルは画像レベルの関連性は高いがグラフレベルの回復性はほぼゼロ。
• Emergent multimodal grounding は構造を改善し、PixArt-Σ に比べて Qwen-Image のグラフレベルスコアが高い。
• 自己回帰型モデルの Gemini 3 Pro Image は最も高い性能を発揮し、図の複雑さがグラフレベルスコアを押し上げる。
• アブレーションにより Shape Hunter と Text Spotter はバランスのとれた構造回復に不可欠であり、どちらかを除くとトポロジーや意味的グラウンディングが大幅に劣化する。
• SciFlow-Bench は実用的図生成における視覚忠実度と構造推論の切り離しを明らかにする。