[论文解读] FreeOrbit4D: Training-Free Arbitrary Camera Redirection for Monocular Videos via Geometry-Complete 4D Reconstruction

Wei Cao, Hao Zhang+6 more|arXiv (Cornell University)|Jan 26, 2026

Advanced Vision and Imaging被引用 0

一句话总结

FreeOrbit4D 从单一 monocular 视频重建几何完整的 4D 代理，然后使用深度条件扩散将视频重定向到任意目标相机轨迹，具有强时间一致性和高质量结果。

ABSTRACT

Camera redirection aims to replay a dynamic scene from a single monocular video under a user-specified camera trajectory. However, large-angle redirection is inherently ill-posed: a monocular video captures only a narrow spatio-temporal view of a dynamic 3D scene, providing highly partial observations of the underlying 4D world. The key challenge is therefore to recover a complete and coherent representation from this limited input, with consistent geometry and motion. While recent diffusion-based methods achieve impressive results, they often break down under large-angle viewpoint changes far from the original trajectory, where missing visual grounding leads to severe geometric ambiguity and temporal inconsistency. To address this, we present FreeOrbit4D, an effective training-free framework that tackles this geometric ambiguity by recovering a geometry-complete 4D proxy as structural grounding for video generation. We obtain this proxy by decoupling foreground and background reconstructions: we unproject the monocular video into a static background and geometry-incomplete foreground point clouds in a unified global space, then leverage an object-centric multi-view diffusion model to synthesize multi-view images and reconstruct geometry-complete foreground point clouds in canonical object space. By aligning the canonical foreground point cloud to the global scene space via dense pixel-synchronized 3D--3D correspondences and projecting the geometry-complete 4D proxy onto target camera viewpoints, we provide geometric scaffolds that guide a conditional video diffusion model. Extensive experiments show that FreeOrbit4D produces more faithful redirected videos under challenging large-angle trajectories, and our geometry-complete 4D proxy further opens a potential avenue for practical applications such as edit propagation and 4D data generation. Project page and code will be released soon.

研究动机与目标

• 在 ill-posed 的 4D 重建情况下，激励从单目视频实现相机重定向。
• 将前景与背景几何分离，以恢复几何完整的 4D 代理。
• 为视频扩散模型提供几何引导的条件信号，以实现稳定的新视图合成。
• 实现大角度视点变化，同时保持时间一致性和外观保真度。
• 展示下游机会，如编辑传播和 4D 数据生成。

提出的方法

• 将 4D 重建分解为全局场景空间（静态背景 + 几何不完整的前景）和规范对象空间（几何完整的前景）。
• 使用 VGGT 提升得到全局点映射和 SAM2 掩模以分离背景/前景。
• 对前景进行多视图扩散以合成视图并在规范空间中重建几何完整的前景。
• 通过密集像素同步的 3D–3D 对应关系和卡尔曼平滑的逐帧变换将规范前景对齐到全局空间。
• 从统一的 4D 代理渲染深度图，并对目标视图视频合成条件化一个深度条件化视频扩散模型。
• 在无需训练的 regime 下，利用现成的预训练模型（PAGE-4D、SAM2、SV4D2.0、VGGT、Wan2.2-VACE）实现。

实验结果

研究问题

• RQ1 能否在不进行训练的情况下从单个单目视频中恢复几何完整的 4D 代理？
• RQ2 将前景几何完成与全局场景提升分离是否能提升大角度相机重定向的保真度？
• RQ3 基于对应关系的对齐是否能产生适用于任意目标视点的、可用于深度条件化视频合成的统一 4D 代理？
• RQ4 在大视角变化下，与现有最前沿的相机控制视频生成方法相比，FreeOrbit4D 的表现如何？
• RQ5 明确的 4D 表征带来的实际应用有哪些（如编辑传播、4D 数据生成）？

主要发现

• 与基线方法（ReCamMaster、TrajectoryCrafter、EX4D、GEN3C）相比，FreeOrbit4D 在大角度相机重定向上实现了接近状态-of-the-art 的保真度和时间一致性。
• 几何完整的 4D 代理使相机控制更精确，全可见性减少几何伪影和时间不一致。
• 基于多视图的前景完成（规范空间）结合全局场景提升（全局空间）与密集对应关系，能够在时间上保持一致的 4D 表征。
• 深度支架条件化引导视频扩散模型，在目标轨迹下生成视点一致且保真渲染。
• 用户研究表明，与基线相比，FreeOrbit4D 的感知质量和相机轨迹保真度更高。
• 消融研究证实多视图生成和基于卡尔曼的时间平滑对整体性能的贡献。