[논문 리뷰] SciMDR: Benchmarking and Advancing Scientific Multimodal Document Reasoning

Ziyu Chen, Yilun Zhao외 4명|arXiv (Cornell University)|2026. 03. 12.

Topic Modeling인용 수 0

한 줄 요약

이 논문은 대규모의 충실하고 현실적인 과학 멀티모달 QA 데이터와 벤치마크를 생성하기 위한 synthesize-and-reground 두 단계 프레임워크를 제안하여 멀티모달 과학 문서 추론 모델의 학습 및 평가를 개선할 수 있게 한다.

ABSTRACT

Constructing scientific multimodal document reasoning datasets for foundation model training involves an inherent trade-off among scale, faithfulness, and realism. To address this challenge, we introduce the synthesize-and-reground framework, a two-stage pipeline comprising: (1) Claim-Centric QA Synthesis, which generates faithful, isolated QA pairs and reasoning on focused segments, and (2) Document-Scale Regrounding, which programmatically re-embeds these pairs into full-document tasks to ensure realistic complexity. Using this framework, we construct SciMDR, a large-scale training dataset for cross-modal comprehension, comprising 300K QA pairs with explicit reasoning chains across 20K scientific papers. We further construct SciMDR-Eval, an expert-annotated benchmark to evaluate multimodal comprehension within full-length scientific workflows. Experiments demonstrate that models fine-tuned on SciMDR achieve significant improvements across multiple scientific QA benchmarks, particularly in those tasks requiring complex document-level reasoning.

연구 동기 및 목표

• 합성 과학 QA 데이터 생성에서의 신뢰성-현실성 트레이드오프를 해결한다.
• 신뢰도 높은 데이터와 현실적인 전체 문맥을 갖춘 확장 가능한 두 단계 파이프라인을 제안한다.
• 긴 문서에서 멀티모달 과학 문서 추론을 평가하기 위한 전문가 주석 벤치마크를 만든다.
• 합성 데이터 품질이 실제 과학 QA 성능에 어떤 영향을 미치는지 평가한다.

제안 방법

• 고정된 맥락에서 추론 체인을 가진 원자적이고 신뢰 근거가 있는 QA 페어를 생성하기 위한 Claim-Centric QA Synthesis를 도입한다.
• 정답 주장들이 역추적 추론을 안내하여 출력의 신실성을 확보한다.
• 문서 규모 재그라운딩을 적용하여 QA 쌍을 전체 문서 맥락에 포함시키고 명시적 정보 위치화 지침을 제공한다.
• 정보 위치화 템플릿을 사용하여 모델이 전체 논문 내에서 증거를 찾는 방법을 학습시킨다.
• 두 단계로 모델을 학습한다: 단계 1은 VQA/TQA 데이터, 단계 2는 MQA 데이터, 마지막으로 SPIQA에서 미세조정한다.

Figure 1: The Faithfulness-Realism Dilemma in scientific data synthesis and our proposed solution. Existing approaches face an inherent trade-off: simplifying context ensures faithfulness but lacks real-world complexity, while generating directly from full documents ensures realism but risks halluci

실험 결과

연구 질문

• RQ1 RQ1: 합성 데이터에 대한 미세조정은 과학적 추론 작업에서 모델 성능을 향상시키는가?
• RQ2 RQ2: 제안된 데이터 합성 파이프라인은 실제 세계의 과학적 추론을 의미 있게 향상시키는 학습 데이터를 생성할 수 있는가?
• RQ3 RQ3: 모델은 멀티모달 QA 작업에서 긴 맥락의 시끄러운 과학 문서를 어떻게 처리하는가?

주요 결과

• 대규모 학습 데이터셋 구축: 연구 20K편으로부터 약 300K개의 QA 쌍 및 추론 체인.
• 긴 문서에서 증거 위치 지정을 포함한 문서 수준 멀티모달 QA를 위한 전문가 주석 벤치마크(907 QA 쌍) 구축.
• 생성 데이터에 대해 Qwen2.5-VL-7B 및 LLaVA-1.5-7B를 미세조정하면 여러 벤치마크에서 상당한 이득이 발생하며 특히 문서 수준의 복잡한 추론 task에 대해 상승.
• 아블레이션 연구는 합성 데이터의 고품질 추론 체인이 길고 맥락 잡음 아래에서도 강건한 멀티모달 추론 학습에 가치가 있음을 보여준다.
• 모델 비교는 제안된 접근법이 여러 과학 QA 벤치마크(ChartQA, CharXiv, SPIQA)에서 baselines보다 성능이 뛰어날 수 있음을 시사한다.
• 논문은 비교적 작은 모델(7B)이라도 높은 신실성 데이터를 학습할 때 더 큰 기준선과 맞먹거나 능가할 수 있다고 보고한다.

Figure 2: Overview of the synthesize-and-reground framework. The pipeline operates in two stages: Claim-Centric QA Synthesis ensures faithfulness by extracting atomic claims and employing backward reasoning to generate QA pairs with chain-of-thought; Document-Scale Re-grounding ensures realism by re