[論文レビュー] FreeOrbit4D: Training-Free Arbitrary Camera Redirection for Monocular Videos via Geometry-Complete 4D Reconstruction

Wei Cao, Hao Zhang+6 more|arXiv (Cornell University)|Jan 26, 2026

Advanced Vision and Imaging被引用数 0

ひとこと要約

FreeOrbit4D は訓練なしで単一のモノクロ動画からジオメトリ完成型の4Dプロキシを再構成し、深度条件付き拡散を用いて動画を任意のターゲットカメラ軌道へ強い時間的一貫性をもって再導入する。

ABSTRACT

Camera redirection aims to replay a dynamic scene from a single monocular video under a user-specified camera trajectory. However, large-angle redirection is inherently ill-posed: a monocular video captures only a narrow spatio-temporal view of a dynamic 3D scene, providing highly partial observations of the underlying 4D world. The key challenge is therefore to recover a complete and coherent representation from this limited input, with consistent geometry and motion. While recent diffusion-based methods achieve impressive results, they often break down under large-angle viewpoint changes far from the original trajectory, where missing visual grounding leads to severe geometric ambiguity and temporal inconsistency. To address this, we present FreeOrbit4D, an effective training-free framework that tackles this geometric ambiguity by recovering a geometry-complete 4D proxy as structural grounding for video generation. We obtain this proxy by decoupling foreground and background reconstructions: we unproject the monocular video into a static background and geometry-incomplete foreground point clouds in a unified global space, then leverage an object-centric multi-view diffusion model to synthesize multi-view images and reconstruct geometry-complete foreground point clouds in canonical object space. By aligning the canonical foreground point cloud to the global scene space via dense pixel-synchronized 3D--3D correspondences and projecting the geometry-complete 4D proxy onto target camera viewpoints, we provide geometric scaffolds that guide a conditional video diffusion model. Extensive experiments show that FreeOrbit4D produces more faithful redirected videos under challenging large-angle trajectories, and our geometry-complete 4D proxy further opens a potential avenue for practical applications such as edit propagation and 4D data generation. Project page and code will be released soon.

研究の動機と目的

• ill-posed 4D reconstruction に直面しても、単一モノクロ動画からカメラ redirection を動機づける。
• foreground と background のジオメトリを分離してジオメトリ完成型の4Dプロキシを回収する。
• ジオメトリ-guided な conditioning 信号を動画拡散モデルへ提供して安定した novel-view 合成を実現する。
• 大角度の視点変更を、時間的一貫性と外観忠実度を維持して可能にする。
• 編集伝播や4Dデータ生成など、下流の応用機会を示す。

提案手法

• 4D 再構成をグローバルシーン空間（静止背景 + ジオメトリ不完全前景）と標準座標系オブジェクト空間（ジオメトリ完成型前景）に分解する。
• VGGT に基づくリフティングでグローバルポイントマップと SAM2 マスクを得て背景/前景を分離する。
• 前景に対して多視点拡散を適用し、視点を合成してcanonical空間でジオメトリ完成型前景を再構成する。
• dense pixel-synchronized な 3D–3D対応付けとカルマン平滑化された各フレーム変換により canonical 前景をグローバル空間へ整列させる。
• 統一された4Dプロキシから深度マップをレンダリングし、ターゲット視点動画合成のために深度条件付き動画拡散モデルを条件付けする。
• PAGE-4D、SAM2、SV4D2.0、VGGT、Wan2.2-VACE などの市販プリトレーニング済みモデルを活用して訓練なしで動作する。

実験結果

リサーチクエスチョン

• RQ1 訓練なしで単一モノクロ動画からジオメトリ完成型4Dプロキシを回収できるか。
• RQ2 foreground ジオメトリ完成と global scene lifting の分離は大角度カメラ redirection の忠実度を改善するか。
• RQ3 対応付けを意識した整列は、任意のターゲット視点に対して深度条件付き動画合成に適した統一4Dプロキシを生み出すか。
• RQ4 FreeOrbit4D は大きな視点変化下での最先端のカメラ制御付き動画生成法と比較してどう性能か。
• RQ5 明示的な4D表現から生じる実用的な応用（例：編集伝播、4Dデータ生成）はどのようなものか。

主な発見

• FreeOrbit4D はベースライン（ReCamMaster、TrajectoryCrafter、EX4D、GEN3C）と比較して大角度カメラリダイレクトで状態推定に近い忠実度と時間的一貫性を達成する。
• ジオメトリ完成型4Dプロキシは完全な可視性を持つ精密なカメラ制御を可能にし、幾何アーティファクトや時間的不整合を低減する。
• 多視点ベースの前景補完（canonical space）とグローバルシーンlifting（global space）を密な対応付けとともに用いることで、時間を通じて一貫した4D表現を得る。
• 深度スキャフォールド条件付けはターゲット軌道下での視点一貫性と忠実なレンダリングを動画拡散モデルへ指示する。
• ユーザー調査は FreeOrbit4D がベースラインより高い知覚品質とカメラ軌道忠実度を示すことを示す。
• アブレーションは多視点生成とカルマンに基づく時間平滑化が全体性能に寄与することを確認する。