[논문 리뷰] VS3R: Robust Full-frame Video Stabilization via Deep 3D Reconstruction

Muhua Zhu, Xinhao Jin외 4명|arXiv (Cornell University)|2026. 03. 06.

Image and Video Stabilization인용 수 0

한 줄 요약

VS3R은 피드포워드식 깊은 3D 재구성과 하이브리드 렌더링 및 이중 흐름 확산 모델을 결합하여 과도한 크롭 없이도 강인한 전체 프레임 비디오 안정화를 달성하고, 견고성 및 시각적 품질 측면에서 최첨단 방법을 능가합니다.

ABSTRACT

Video stabilization aims to mitigate camera shake but faces a fundamental trade-off between geometric robustness and full-frame consistency. While 2D methods suffer from aggressive cropping, 3D techniques are often undermined by fragile optimization pipelines that fail under extreme motions. To bridge this gap, we propose VS3R, a framework that synergizes feed-forward 3D reconstruction with generative video diffusion. Our pipeline jointly estimates camera parameters, depth, and masks to ensure all-scenario reliability, and introduces a Hybrid Stabilized Rendering module that fuses semantic and geometric cues for dynamic consistency. Finally, a Dual-Stream Video Diffusion Model restores disoccluded regions and rectifies artifacts by synergizing structural guidance with semantic anchors. Collectively, VS3R achieves high-fidelity, full-frame stabilization across diverse camera models and significantly outperforms state-of-the-art methods in robustness and visual quality.

연구 동기 및 목표

• 비디오 안정화에서 기하학적 견고함과 전체 프레임 콘텐츠 보존 간의 균형 필요성을 제시한다.
• 깊은 3D 재구성 및 확산 선행 조건을 활용한 통합 reconstr-Smooth-Refine 파이프라인을 제안한다.
• 크롭으로 인한 아티팩트 없이 디소클로징 영역 및 아티팩트를 해결하여 전체 프레임 합성을 가능하게 한다.

제안 방법

• 슬라이딩 윈도우에서 카메라 내부 파라미터/외부 파라미터, 깊이 및 동적 마스크를 추정하기 위해 피드포워드식 깊은 재구성 모델을 사용한다.
• 가우시안 필터링으로 카메라 궤적을 부드럽게 하여 안정화된 경로를 얻는다.
• 하이브리드 안정화 렌더링은 동적 영역에 대해 의미 마스크와 기하 기반 마스크를 결합하고, 정적/동적 혼합 포인트 클라우드를 재투영한다.
• 이중 스트림 비디오 확산 모델은 디소클로징 영역을 채우고 고정된 의미 앵커를 가진 시간적 컨텍스트를 활용하여 프레임을 정제한다.

실험 결과

연구 질문

• RQ1 도전적인 모션에서도 강건한 카메라 포즈와 깊이 추정치를 제공하면서 전체 프레임 합성을 가능하게 할 수 있는가?
• RQ2 의미 인식 마스크와 기하 기반 동적 마스크의 통합이 렌더링에서 동적 영역의 안정성을 개선하는가?
• RQ3 확산 기반의 전체 프레임 정제 모델이 크롭 아티팩트 없이 시간적 일관성을 유지하며 디소클로징 영역을 복원할 수 있는가?
• RQ4 reconstruct-smooth-refine과 확산 기반 복원을 결합할 때 품질과 계산 비용의 트레이드오프는 무엇인가?

주요 결과

• VS3R은 공개 벤치마크에서 최첨단 방법들에 비해 콘텐츠 충실도, 기하학적 및 시간적 일관성이 더 높은 전체 프레임 안정화를 달성한다.
• 하이브리드 안정화 렌더링(HSR)은 의미 기반 동적 마스크와 기하 기반 동적 마스크를 합쳐 인공물을 효과적으로 억제한다.
• 이중 스트림 비디오 확산 모델(DVDM)은 디소클로징 영역을 복원하고 시간적 일관성을 강화하여 지각적 품질을 향상시킨다.
• 정량적 결과는 VS3R이 NUS 데이터셋에서 Cropping, Stability, ESE, WE, LPIPS에서 기준선보다 우수함을 보여주고, 사용자 연구에서도 선호되는 시각적 품질이 확인된다.