[論文レビュー] VS3R: Robust Full-frame Video Stabilization via Deep 3D Reconstruction

Muhua Zhu, Xinhao Jin+4 more|arXiv (Cornell University)|Mar 6, 2026

Image and Video Stabilization被引用数 0

ひとこと要約

VS3Rはフィードフォワードの深度3D再構成とハイブリッドレンダリング、およびデュアルストリーム拡散モデルを組み合わせ、過度なクロップを伴わない堅牢な全-frame動画安定化を実現。最先端手法と比較して頑健性と視覚品質で優れる。

ABSTRACT

Video stabilization aims to mitigate camera shake but faces a fundamental trade-off between geometric robustness and full-frame consistency. While 2D methods suffer from aggressive cropping, 3D techniques are often undermined by fragile optimization pipelines that fail under extreme motions. To bridge this gap, we propose VS3R, a framework that synergizes feed-forward 3D reconstruction with generative video diffusion. Our pipeline jointly estimates camera parameters, depth, and masks to ensure all-scenario reliability, and introduces a Hybrid Stabilized Rendering module that fuses semantic and geometric cues for dynamic consistency. Finally, a Dual-Stream Video Diffusion Model restores disoccluded regions and rectifies artifacts by synergizing structural guidance with semantic anchors. Collectively, VS3R achieves high-fidelity, full-frame stabilization across diverse camera models and significantly outperforms state-of-the-art methods in robustness and visual quality.

研究の動機と目的

• 動画安定化において幾何学的頑健性と全frameコンテンツの保持をバランスさせる必要性を動機づける。
• 深度3D再構成と拡散事前知識を活用した統一的な reconstr-Smooth-Refine パイプラインを安定化に提案する。
• クロップに伴うアーチファクトを避けつつ、ディスオクルージョンとアーチファクトに対処して全frame合成を可能にする。

提案手法

• スライディングウィンドウ内でカメラ内参/外参、深度、ダイナミックマスクを推定するフィードフォワード深層再構成モデルを用いる。
• ガウシアンフィルタリングでカメラ軌道を滑らかにして安定化した経路を得る。
• ハイブリッド安定化レンダリングは意味論的マスクと幾何ベースマスクを動的領域で組み合わせ、混合静的/動的点群を再射影する。
• デュアルストリーム動画拡散モデルはディスオクルージョン領域を埋め、時間的文脈と固定された意味的アンカーを用いてフレームをリファインする。

実験結果

リサーチクエスチョン

• RQ1 深度3D再構成は難しい動きに対して堅牢なカメラ姿勢と深度推定を提供しつつ全frame合成を可能にするか。
• RQ2 意味論的認識マスクと幾何的動的マスクを統合することでレンダリングの動的領域の安定性は向上するか。
• RQ3 拡散ベースの全frameリファインモデルは時間的一貫性を保ち、クロップアーチファクトを伴わずディスオクルージョン領域を復元できるか。
• RQ4 reconstr-Smooth-Refine と拡散ベースの復元を組み合わせた際の品質と計算コストのトレードオフは何か。

主な発見

• VS3Rは公開ベンチマークにおいて、最先端手法より高い内容忠実度・幾何的一貫性・時間的一貫性を持つ全frame安定化を達成する。
• ハイブリッド安定化レンダリング(HSR)は意味論的マスクと幾何動的マスクを融合してアーチファクトを効果的に抑制する。
• デュアルストリーム動画拡散モデル(DVDM)はディスオクルージョンを復元し時間的一貫性を強化して知覚品質を向上させる。
• NUSデータセットでの定量的結果はVS3Rがクロップ・安定性・ESE・WE・LPIPSでベースラインを上回り、ユーザー調査でも視覚品質が優れていることが確認される。