Skip to main content
QUICK REVIEW

[논문 리뷰] FreeOrbit4D: Training-Free Arbitrary Camera Redirection for Monocular Videos via Geometry-Complete 4D Reconstruction

Wei Cao, Hao Zhang|arXiv (Cornell University)|2026. 01. 26.
Advanced Vision and ImagingComputer Science인용 수 0
한 줄 요약

FreeOrbit4D는 학습 없이 단일 단안 영상에서 기하학적으로 완전한 4D 프록시를 재구성한 다음 깊이 조건부 확산을 사용하여 비디오를 임의의 목표 카메라 궤도로 강한 시간적 일관성과 함께 재지향합니다.

ABSTRACT

Camera redirection aims to replay a dynamic scene from a single monocular video under a user-specified camera trajectory. However, large-angle redirection is inherently ill-posed: a monocular video captures only a narrow spatio-temporal view of a dynamic 3D scene, providing highly partial observations of the underlying 4D world. The key challenge is therefore to recover a complete and coherent representation from this limited input, with consistent geometry and motion. While recent diffusion-based methods achieve impressive results, they often break down under large-angle viewpoint changes far from the original trajectory, where missing visual grounding leads to severe geometric ambiguity and temporal inconsistency. To address this, we present FreeOrbit4D, an effective training-free framework that tackles this geometric ambiguity by recovering a geometry-complete 4D proxy as structural grounding for video generation. We obtain this proxy by decoupling foreground and background reconstructions: we unproject the monocular video into a static background and geometry-incomplete foreground point clouds in a unified global space, then leverage an object-centric multi-view diffusion model to synthesize multi-view images and reconstruct geometry-complete foreground point clouds in canonical object space. By aligning the canonical foreground point cloud to the global scene space via dense pixel-synchronized 3D--3D correspondences and projecting the geometry-complete 4D proxy onto target camera viewpoints, we provide geometric scaffolds that guide a conditional video diffusion model. Extensive experiments show that FreeOrbit4D produces more faithful redirected videos under challenging large-angle trajectories, and our geometry-complete 4D proxy further opens a potential avenue for practical applications such as edit propagation and 4D data generation. Project page and code will be released soon.

연구 동기 및 목표

  • 불완전하게 여겨지는 4D 재구성에도 불구하고 단일 단안 영상에서 카메라 재지향을 촉진합니다.
  • 전경과 배경 기하를 분리하여 기하학적으로 완전한 4D 프록시를 복구합니다.
  • 안정적인 신규 뷰 합성을 위해 기하학 기반 컨디셔닝 신호를 비디오 확산 모델에 제공합니다.
  • 시간적 일관성과 외관 충실도를 유지하면서 대각도 시점 변화가 가능하도록 합니다.
  • 에디트 전파 및 4D 데이터 생성과 같은 하류 활용 가능성을 시연합니다.

제안 방법

  • 4D 재구성을 글로벌 씬 스페이스(정적 배경 + 기하가 불완전한 전경)와 캐노니컬 공간(기하가 완전한 전경)으로 분리한다.
  • VGGT 기반 리프팅을 사용해 글로벌 포인트 맵과 SAM2 마스크를 얻어 배경/전경을 구분한다.
  • 전경에 다중 뷰 확산을 적용하여 뷰를 합성하고 캐노니컬 공간에서 기하가 완전한 전경을 재구성한다.
  • 밀집 픽셀 동기화 3D–3D 대응과 칼만 스무딩된 프레임별 변환을 통해 캐노니컬 전경을 글로벌 스페이스에 정렬한다.
  • 통합된 4D 프록시에서 깊이 맵을 렌더링하고 대상 시점 비디오 합성을 위해 깊이 조건부 비디오 확산 모델에 컨디션한다.
  • PAGE-4D, SAM2, SV4D2.0, VGGT, Wan2.2-VACE 등 오프더셸프 프리트레이닝 모델을 활용해 학습 없이 운용한다.

실험 결과

연구 질문

  • RQ1학습 없이 단일 단안 비디오로 기하학적으로 완전한 4D 프록시를 회복할 수 있는가?
  • RQ2전경 기하 완료를 글로벌 씬 리프팅과 분리하는 것이 대각도 카메라 재지향 신뢰도를 향상시키는가?
  • RQ3대응 인지 정렬이 임의의 대상 시점들 간에 깊이 조건부 비디오 합성에 적합한 통합 4D 프록시를 제공할 수 있는가?
  • RQ4큰 시점 변화에서 FreeOrbit4D의 성능은 최첨단 카메라 제어 비디오 생성 방법과 비교하여 어떤가?
  • RQ5명시적 4D 표현으로부터 어떤 실용적 응용이 만들어지는가(예: 편집 전파, 4D 데이터 생성)?

주요 결과

  • FreeOrbit4D는 베이스라인(ReCamMaster, TrajectoryCrafter, EX4D, GEN3C)과 비교하여 대각도 카메라 재지향에서 최첨단에 근접한 충실도와 시간적 일관성을 달성한다.
  • 기하학적으로 완전한 4D 프록시는 모든 가시성을 갖춘 정밀한 카메라 제어를 가능하게 하여 기하적 아티팩트와 시간적 불일치를 줄인다.
  • 다중 뷰 기반 전경 보정(캐노니컬 스페이스)과 밀집 대응이 있는 글로벌 씬 리프팅(글로벌 스페이스)을 결합하면 시간에 걸쳐 일관된 4D 표현을 얻을 수 있다.
  • 깊이-스캐폴드 컨디셔닝이 비디오 확산 모델을 가이드하여 대상 궤도에서 시점 간 일관되고 신뢰할 수 있는 렌더링을 생성한다.
  • 사용자 연구에서 FreeOrbit4D가 베이스라인 대비 지각된 품질과 카메라 궤도 충실도가 더 높게 나타났다.
  • 에이블레이션 결과가 다중 뷰 생성과 칼만 기반 시간적 평활화의 기여를 확인한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.