[論文レビュー] Spatial Causal Prediction in Video

Yanguang Zhao, Jie Yang+10 more|arXiv (Cornell University)|Mar 4, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

この論文は Spatial Causal Prediction (SCP) を定義し、SCP-Bench を構築。2,500 の QA ペアを 1,181 本の動画に対して提供し、観測済みの過去/未来状態を超える空間因果推論を評価。モデルのギャップと改善戦略を分析する。

ABSTRACT

Spatial reasoning, the ability to understand spatial relations, causality, and dynamic evolution, is central to human intelligence and essential for real-world applications such as autonomous driving and robotics. Existing studies, however, primarily assess models on visible spatio-temporal understanding, overlooking their ability to infer unseen past or future spatial states. In this work, we introduce Spatial Causal Prediction (SCP), a new task paradigm that challenges models to reason beyond observation and predict spatial causal outcomes. We further construct SCP-Bench, a benchmark comprising 2,500 QA pairs across 1,181 videos spanning diverse viewpoints, scenes, and causal directions, to support systematic evaluation. Through comprehensive experiments on {23} state-of-the-art models, we reveal substantial gaps between human and model performance, limited temporal extrapolation, and weak causal grounding. We further analyze key factors influencing performance and propose perception-enhancement and reasoning-guided strategies toward advancing spatial causal intelligence. The project page is https://guangstrip.github.io/SCP-Bench.

研究の動機と目的

• visiblespa 光度の理解を超えた空間因果推論の新タスクを定式化する。
• SCP-Bench を作成・公開し、空間ダイナミクスの知覚、推論、予測を体系的に評価する。
• 23 の最先端モデルをベンチマークし、人間と機械の空間因果知能のギャップを特定する。
• SCP の性能に影響を与える要因を分析し、改善戦略を提案する。
• SCP 能力を高めるためのスケーリング、知覚強化、因果的支架に関する洞察を提供する。

提案手法

• 可視的時空理解を超えた空間因果推論 (SCP) を QA タスクとして形式化する。
• 多様な動画の収集、半自動 QA アノテーション、可視部分と不可視部分を分離するカットポイントの検証を通じて SCP-Bench を構築する。
• 2 つの因果方向（後方、前方）と 2 つの視点（単一視点、複数視点）にまたがる 8 種類の空間推論カテゴリを定義する。
• 複数の SCP タスクとシーンタイプに対して、商用・オープンソース・空間的特化モデルを広範に評価する。
• perception と reasoning を分離するための厳密なアブレーション（Gold Video vs. captions）を実施し、単一フレーム vs. 複数フレームで時間的頑健性を検証する。
• モデル規模、知覚強化（密なキャプション、空間相互作用グラフ）、外部因果支架（テキストの未来予測、世界モデル） の影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 現在のマルチモーダル LLM が多様なシーンと視点で SCP-Bench に対してどの程度性能を発揮するか？
• RQ2 SCP の性能を最も制限する要因は、知覚と推論、時間的 horizon、因果構造のどれか？
• RQ3 モデル規模の拡大と因果支架は SCP を改善できるか、どの戦略が最も効果的か？
• RQ4 複数視点と前向き予測タスクは、単一視点と後方推論タスクより難易度が高いか？

主な発見

• SCP-Bench における人間レベルには遠く及ばず（最高 ~66.24% 正答率 vs. 89.61% 人間平均）。
• 大規模オープンソースモデルは、特定の SCP タスクで一部のクローズドモデルと同等以上を示すことができ、スケーリングと公開モデルの競争力を示唆。
• 相対的なサイズ・相対的な速度・空間状態は比較的容易なカテゴリ。オブジェクト関係、計画、カウントはより難しく、高次推論を要する。
• 過去推論と比べて未来指向の予測は依然難しく、時間的外挿の horizon による正確さの向上は限定的で、正確さは各 horizon で約中位の 40 台後半。
• 知覚だけがボトルネックではなく、未観測の空間状態に関する推論が核となる制約。Gold Video による知覚改善があっても、推論は依然として難しい。
• モデルサイズの増加は一貫した性能向上をもたらす。単純な CoT/自己思考は限定的または一貫性のない改善。知覚強化は限られた利得。
• 未観測の空間因果支架（特にテキストの未来記述）は、画像/動画ベースの支架よりも性能を有意に向上させる可能性。