[論文レビュー] VideoGPA: Distilling Geometry Priors for 3D-Consistent Video Generation

Hongyang Du, Junjie Ye+8 more|arXiv (Cornell University)|Jan 30, 2026

3D Shape Modeling and Analysis被引用数 0

ひとこと要約

VideoGPA はジオメトリ基盤モデルを用いて密な3D一貫性信号を自己教師付きに蒸留し、Direct Preference Optimization によって人間の注釈なしで動画拡散モデルを導くことで、時間的安定性と運動の一貫性を向上させる。

ABSTRACT

While recent video diffusion models (VDMs) produce visually impressive results, they fundamentally struggle to maintain 3D structural consistency, often resulting in object deformation or spatial drift. We hypothesize that these failures arise because standard denoising objectives lack explicit incentives for geometric coherence. To address this, we introduce VideoGPA (Video Geometric Preference Alignment), a data-efficient self-supervised framework that leverages a geometry foundation model to automatically derive dense preference signals that guide VDMs via Direct Preference Optimization (DPO). This approach effectively steers the generative distribution toward inherent 3D consistency without requiring human annotations. VideoGPA significantly enhances temporal stability, physical plausibility, and motion coherence using minimal preference pairs, consistently outperforming state-of-the-art baselines in extensive experiments.

研究の動機と目的

• 動画生成における視覚的忠実度を超えた3D構造的一貫性の必要性を動機付ける。
• データ効率の高い自己教師付きアプローチで動画拡散モデルを3D一貁性へ導く。
• ジオメトリ基盤モデルを活用して注釈なしで訓練用の密な優先信号を導出する。
• ベースラインより時間的安定性と運動の一貫性を改善する。

提案手法

• VideoGPA（Video Geometric Preference Alignment）を自己監督フレームワークとして導入する。
• ジオメトリ基盤モデルを用いて自動的に密な優先信号を生成する。
• Direct Preference Optimization（DPO）を適用して生成分布を3D一貫性へ導く。
• 最小限の優先ペアでデータ効率の高いレジームで運用する。
• 人間の注釈に依存せず、幾何学的妥当性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 基盤モデルから導出されたジオメトリ priors は動画拡散モデルを3D一貫性のある生成へ導けるのか。
• RQ2 自動的に導出された優先信号を用いたDirect Preference Optimization は動画の時間的安定性と運動の一貫性を改善するのか。
• RQ3 注釈なしで3D構造的一貫性を達成する際のデータ効率はどれくらいか。

主な発見

• VideoGPA は時間的安定性、幾何学的妥当性、運動の一貫性を大幅に向上させる。
• 最小限の優先ペアで、広範な実験を通じて最先端のベースラインを上回る。
• 人間の注釈を必要とせず自己教師信号で3D一貫性を達成する。