[논문 리뷰] Scientific Image Synthesis: Benchmarking, Methodologies, and Downstream Utility

Honglin Lin, Chonghan Qin외 8명|arXiv (Cornell University)|2026. 01. 17.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

본 논문은 픽셀 기반과 코드 구동 방식의 과학 이미지 생성을 비교하고, ImgCoder와 SciGenBench를 도입하며, 고충실도 합성 이미지가 다운스트림의 다중 모달 과학 추론을 향상시킨다는 것을 보여준다.

ABSTRACT

While synthetic data has proven effective for improving scientific reasoning in the text domain, multimodal reasoning remains constrained by the difficulty of synthesizing scientifically rigorous images. Existing Text-to-Image (T2I) models often produce outputs that are visually plausible yet scientifically incorrect, resulting in a persistent visual-logic divergence that limits their value for downstream reasoning. Motivated by recent advances in next-generation T2I models, we conduct a systematic study of scientific image synthesis across generation paradigms, evaluation, and downstream use. We analyze both direct pixel-based generation and programmatic synthesis, and propose ImgCoder, a logic-driven framework that follows an explicit "understand - plan - code" workflow to improve structural precision. To rigorously assess scientific correctness, we introduce SciGenBench, which evaluates generated images based on information utility and logical validity. Our evaluation reveals systematic failure modes in pixel-based models and highlights a fundamental expressiveness-precision trade-off. Finally, we show that fine-tuning Large Multimodal Models (LMMs) on rigorously verified synthetic scientific images yields consistent reasoning gains, with potential scaling trends analogous to the text domain, validating high-fidelity scientific synthesis as a viable path to unlocking massive multimodal reasoning capabilities.

연구 동기 및 목표

• 픽셀 기반과 코드 기반의 과학 이미지 생성 시스템의 한계를 평가한다.
• 더 높은 구조적 정밀도를 위한 로직 주도적 프로그래밍 프레임워크로서 ImgCoder를 제안한다.
• 과학 이미지의 정보 활용성 및 논리적 타당성을 평가하기 위해 SciGenBench를 만든다.
• 합성 과학 이미지를 대형 다중 모달 모델 학습에 활용했을 때 다운스트림 유용성을 평가한다.

제안 방법

• 픽셀 기반 T2I 생성과 프로그래밍 방식의 코드 구동 이미지 합성을 비교한다.
• Understand → Plan → Code 워크플로우와 Think-before-Act 전략을 사용해 ImgCoder를 개발한다.
• 두 단계의 Subject–Image Type 분류 체계와 원자적 시각 퀴즈를 갖춘 SciGenBench를 구성한다.
• LMM-as-Judge, 역검증, 표준 지표, 다운스트림 성능을 결합한 하이브리드 평가 프레임워크를 채택한다.
• 패러다임 간의 정밀성-표현력 트레이드오프와 오류 사례를 분석한다.

실험 결과

연구 질문

• RQ1 RQ1: 최첨단 모델이 패러다임 간 과학 이미지 생성에서 어떻게 성능을 보이는가?
• RQ2 RQ2: 생성적(픽셀 기반)과 프로그래밍적(코드 기반) 접근 방식 간의 트레이드오프는 무엇인가?
• RQ3 RQ3: 합성 과학 이미지를 학습에 활용할 때 다운스트림 다중 모달 추론이 향상되는가?

주요 결과

모델	R_inv (%) ↑	LMM-as-Judge (0–2) ↑	표준 지표	C&F	L&P	R&O	SP	E&R	PSNR ↑	SSIM ↑	CLIP ↑	FID ↓
HunyuanImage-3.0	30.79	0.39	0.78	1.44	0.56	0.81	12.21	0.82	25.01	93.27
Qwen-Image	38.86	0.24	0.70	1.48	0.30	0.76	9.63	0.78	25.02	120.42
GPT-Image-1	42.97	0.57	1.37	1.90	0.84	1.19	13.07	0.84	25.14	77.31
Seedream-4.0	52.67	0.44	0.94	1.67	0.55	0.95	10.65	0.74	25.02	98.22
Nanobanana	57.75	0.43	0.92	1.60	0.60	1.15	14.12	0.85	25.13	104.70
Flux2-flex	58.83	0.48	1.06	1.70	0.67	1.20	14.11	0.85	25.10	96.74
GPT-Image-1.5	63.52	0.98	1.70	1.97	1.17	1.62	14.79	0.88	25.16	112.52
Nanobanana-Pro	73.41	1.59	1.87	1.98	1.72	1.93	12.02	0.81	25.01	87.72
ImgCoder	Qwen3-ImgCoder	56.38	1.30	1.62	1.39	1.29	14.71	0.86	25.21	121.55
Gemini-3-Flash-ImgCoder	76.93	1.88	1.88	1.92	1.91	1.92	14.63	0.85	25.18	117.83
Gemini-3-Pro-ImgCoder	77.87	1.93	1.91	1.93	1.90	1.84	14.59	0.86	25.16	107.67

• 픽셀 기반 모델은 시각적 충실도가 높지만 과학 도해의 구조적 정확성은 상대적으로 떨어진다.
• 코드 주도형 ImgCoder는 구조적 정밀도와 추론 관련 점수에서 더 높은 성능을 보이며, 상위 변형은 역검증 및 평가 판단 점수에서 최고치를 달성한다.
• SciGenBench는 패러다임 간 정밀도-표현력의 트레이드오프를 드러내고, 도메인 지식 및 조밀한 데이터 오류에서 지속적 실패 모드를 식별한다.
• 엄격하게 검증된 합성 과학 이미지를 대형 다중 모달 모델에 미세조정하면 과학적 추론에서 일관된 개선이 나타난다.
• 합성 이미지의 데이터 품질 및 필터링은 다운스트림 성능에 큰 영향을 주며 더 많은 데이터로 확장 가능한 이점을 보인다.