[논문 리뷰] SciFlow-Bench: Evaluating Structure-Aware Scientific Diagram Generation via Inverse Parsing

Tong Zhang, Honglin Lin외 3명|arXiv (Cornell University)|2026. 02. 10.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

SciFlow-Bench는 최종 이미지를 표준 그래프로 역파싱하여 도식 생성을 평가하는 구조-우선 벤치마크를 도입하고, 계층적 다-agent 시스템을 통해 구조 재현 가능성을 보장합니다. 이는 모델 간 시각적 충실도와 구조적 정확도 간의 격차를 드러냅니다.

ABSTRACT

Scientific diagrams convey explicit structural information, yet modern text-to-image models often produce visually plausible but structurally incorrect results. Existing benchmarks either rely on image-centric or subjective metrics insensitive to structure, or evaluate intermediate symbolic representations rather than final rendered images, leaving pixel-based diagram generation underexplored. We introduce SciFlow-Bench, a structure-first benchmark for evaluating scientific diagram generation directly from pixel-level outputs. Built from real scientific PDFs, SciFlow-Bench pairs each source framework figure with a canonical ground-truth graph and evaluates models as black-box image generators under a closed-loop, round-trip protocol that inverse-parses generated diagram images back into structured graphs for comparison. This design enforces evaluation by structural recoverability rather than visual similarity alone, and is enabled by a hierarchical multi-agent system that coordinates planning, perception, and structural reasoning. Experiments show that preserving structural correctness remains a fundamental challenge, particularly for diagrams with complex topology, underscoring the need for structure-aware evaluation.

연구 동기 및 목표

• 과 pixel 수준의 유사성을 넘어서 과학 도식의 구조 보존 평가의 필요성을 제시한다.
• PDF의 실제 프레임워크 그림에서 자동으로 표준 Ground-Truth 그래프를 구성한다.
• 결정론적 역-파싱 순환을 사용하여 모델을 블랙박스 이미지 생성기로 평가한다.
• 시각적 품질과 구조적 정확도 간의 관계를 모델 유형 전반에서 분석한다.
• 일관된 그래프 구성 및 파싱을 가능하게 하는 계층적 다-Agent 시스템의 역할을 강조한다.

제안 방법

• 텍스트에서 도식 이미지로의 순환-순회 평가를 정의하고, 그 이미지를 역파싱하여 표준 Ground-Truth 그래프와 비교한다.
• 계층적 다-Agent 시스템(계획, 인지, 추론)을 통해 소스 프레임워크 그림에서 표준 Ground-Truth 그래프를 자동으로 구성한다.
• 세 계층 HMAS 파이프라인을 사용한다: Cognitive Planning(Methodologist and Visual Translator), Fine-Grained Perception(Environment Curator, Shape Hunter, Text Spotter), 그리고 Structural Reasoning(Topology Coder and Graph Architect).
• Ground truth와 예측 그래프를 사용하여 결정론적이고 구조 인식적인 방식으로 그래프-수준, 텍스트-수준, 이미지-수준 지표를 계산한다.
• 모든 모델을 최종 렌더링 출력에서 평가되는 블랙박스 이미지 생성기로 간주하고 통합 평가 프로토콜을 제공한다.
• 픽셀 기반 생성기와 코드 기반 기준선(Graphviz)를 비교하고, 시각적 유사성보다는 구조 재현 가능성을 분석한다.

실험 결과

연구 질문

• RQ1 생성된 도식이 또는적 구조로 회복되어 표준 Ground-Truth와 일치하는 응집된 그래프로 역구성될 수 있는가?
• RQ2 다른 모델 계열(diffusion, 다중 모달 LM, 자기회귀 VLM)은 쉬운, 중간, 어려운 토폴로지 하위집합에서 구조를 얼마나 보존하는가?
• RQ3 아키텍처 간에 시각적 설득력과 구조적 정확도 사이에 지속적인 차이가 있는가?
• RQ4 Shape Hunter, Text Spotter 등의 개별 구문 분석 구성 요소가 구조적 재현에 미치는 영향은 무엇인가?

주요 결과

Domain	Node Prec.	Node Rec.	Node F1	Edge Prec.	Edge Rec.	Edge F1
Computer Vision	0.88	0.93	0.89	0.65	0.67	0.65
NLP	0.92	0.97	0.94	0.77	0.86	0.81
Machine Learning Theory	0.87	0.92	0.89	0.58	0.72	0.62
Integrated Circuits	0.93	0.96	0.94	0.74	0.79	0.76
Robotics	0.83	0.96	0.88	0.69	0.81	0.72
Overall	0.89	0.95	0.91	0.69	0.77	0.71

• 구조 재현 가능성은 기본적인 도전 과제로 남아 있으며, 많은 모델이 시각적 형태를 보존하더라도 토폴로지를 올바르게 유지하지 못한다.
• 다섯 개 도메인에 걸쳐 노드-수준 및 엣지-수준 토폴로지 지표가 모델 간에 강한 구조 차이를 드러내며, 자기회귀 VLM이 전반적으로 가장 높은 구조 점수를 달성한다.
• Diffusion-만 모델은 이미지-수준 관련성은 높으나 그래프-수준 재현성은 거의 0에 가깝다.
• Emergent multimodal grounding은 Vanilla diffusion보다 구조를 개선하며, Qwen-Image가 PixArt-Σ보다 그래프-수준 점수가 더 높은 것으로 나타났다.
• 자기회귀 모델인 Gemini 3 Pro Image가 가장 강한 성능을 보이며, 도식의 복잡도가 증가할수록 그래프-수준 점수가 상승한다.
• Abation은 Shape Hunter와 Text Spotter가 구조 재현의 균형에 중요하다는 것을 보여주며, 둘 중 하나를 제거하면 토폴로지나 의미적 접지가 크게 악화된다.
• SciFlow-Bench는 실용적 도식 생성에서 시각적 충실도와 구조적 추론 간의 분리를 드러낸다.