[論文レビュー] SciMDR: Benchmarking and Advancing Scientific Multimodal Document Reasoning

Ziyu Chen, Yilun Zhao+4 more|arXiv (Cornell University)|Mar 12, 2026

Topic Modeling被引用数 0

ひとこと要約

この論文は、大規模で忠実かつ現実的な科学的マルチモーダルQAデータとベンチマークを生成するための synthesize-and-reground の二段階フレームワークを提案し、マルチモーダル科学的文書推論モデルの訓練と評価を改善します。

ABSTRACT

Constructing scientific multimodal document reasoning datasets for foundation model training involves an inherent trade-off among scale, faithfulness, and realism. To address this challenge, we introduce the synthesize-and-reground framework, a two-stage pipeline comprising: (1) Claim-Centric QA Synthesis, which generates faithful, isolated QA pairs and reasoning on focused segments, and (2) Document-Scale Regrounding, which programmatically re-embeds these pairs into full-document tasks to ensure realistic complexity. Using this framework, we construct SciMDR, a large-scale training dataset for cross-modal comprehension, comprising 300K QA pairs with explicit reasoning chains across 20K scientific papers. We further construct SciMDR-Eval, an expert-annotated benchmark to evaluate multimodal comprehension within full-length scientific workflows. Experiments demonstrate that models fine-tuned on SciMDR achieve significant improvements across multiple scientific QA benchmarks, particularly in those tasks requiring complex document-level reasoning.

研究の動機と目的

• 合成科学QAデータ生成における忠実性と現実性のトレードオフに対処する。
• 現実的な全文書コンテキストを伴う、スケーラブルで高い忠実性を持つデータを生成する二段階パイプラインを提案する。
• 長文文書でのマルチモーダル科学文書推論を評価する専門家注釈付きベンチマークを作成する。
• 合成データ品質が実世界の科学QAパフォーマンスに与える影響を評価する。

提案手法

• 断片的文脈上で推論チェーンを含む原子的な忠実性を持つQAペアを生成する Claim-Centric QA Synthesis を導入する。
• 真偽の主張が逆推論を導くことで忠実な出力を確保する。
• Document-Scale Regrounding を適用してQAペアを全文書コンテキストへ埋め込み、情報局在化の指示を明示する。
• Evidenceを全文論文内で場所特定する方法をモデルに教える Information Localization テンプレートを使用する。
• Stage 1 を VQA/TQA データで、Stage 2 を MQA データで訓練し、最終的に SPIQA で微調整する二段階訓練を行う。

Figure 1: The Faithfulness-Realism Dilemma in scientific data synthesis and our proposed solution. Existing approaches face an inherent trade-off: simplifying context ensures faithfulness but lacks real-world complexity, while generating directly from full documents ensures realism but risks halluci

実験結果

リサーチクエスチョン

• RQ1 RQ1: 合成データの微調整は科学的推論タスクのモデル性能を改善するか？
• RQ2 RQ2: 提案データ合成パイプラインは実世界の科学的推論を意味のある形で強化する学習データを生成できるか？
• RQ3 RQ3: モデルは長文・ノイズの多い科学文書をマルチモーダルQAタスクでどう扱うか？

主な発見

• 大規模な訓練データセットを構築：20K論文から約30万QAペアと推論チェーン。
• 長文文書での証拠局在を含む専門家注釈付きベンチマーク（907 QAペア）を構築。
• 生成データでの微調整により、Qwen2.5-VL-7B および LLaVA-1.5-7B が複数のベンチマークで有意な改善を達成、特に長文文書レベルの複雑な推論タスクで有効。
• アブレーション研究は、合成データの高品質な推論チェーンが長-contextノイズ下のロバストなマルチモーダル推論学習に有用であることを示す。
• 提案手法は、いくつかの科学QAベンチマーク（ChartQA、CharXiv、SPIQA）でベースラインを上回ることがある。
• relatively small model (7B) でも高忠実性データで訓練すれば大規模ベースラインに匹敵または上回ることがある。

Figure 2: Overview of the synthesize-and-reground framework. The pipeline operates in two stages: Claim-Centric QA Synthesis ensures faithfulness by extracting atomic claims and employing backward reasoning to generate QA pairs with chain-of-thought; Document-Scale Re-grounding ensures realism by re