[논문 리뷰] VideoGPA: Distilling Geometry Priors for 3D-Consistent Video Generation

Hongyang Du, Junjie Ye외 8명|arXiv (Cornell University)|2026. 01. 30.

3D Shape Modeling and Analysis인용 수 0

한 줄 요약

VideoGPA는 기하학적 기초 모델을 사용하여 Dense 3D-일관성 신호를 비디오 확산 모델로 Direct Preference Optimization을 통해 증류하고, 인간 주석 없이도 시간적 안정성 및 모션 일관성을 향상시킵니다.

ABSTRACT

While recent video diffusion models (VDMs) produce visually impressive results, they fundamentally struggle to maintain 3D structural consistency, often resulting in object deformation or spatial drift. We hypothesize that these failures arise because standard denoising objectives lack explicit incentives for geometric coherence. To address this, we introduce VideoGPA (Video Geometric Preference Alignment), a data-efficient self-supervised framework that leverages a geometry foundation model to automatically derive dense preference signals that guide VDMs via Direct Preference Optimization (DPO). This approach effectively steers the generative distribution toward inherent 3D consistency without requiring human annotations. VideoGPA significantly enhances temporal stability, physical plausibility, and motion coherence using minimal preference pairs, consistently outperforming state-of-the-art baselines in extensive experiments.

연구 동기 및 목표

• 시각적 충실도를 넘어서 비디오 생성에서 3D 구조적 일관성의 필요성을 동기화한다.
• 데이터 효율적이고 자기지도 학습 방식으로 비디오 확산 모델을 3D 일관성으로 유도하는 방법을 제안한다.
• 주석 없는 학습을 위한 조밀한 선호 신호를 도출하기 위해 기하학적 기초 모델을 활용한다.
• 베이스라인 대비 향상된 시간적 안정성과 모션 일관성을 입증한다.

제안 방법

• VideoGPA (Video Geometric Preference Alignment)를 자기지도 프레임워크로 도입한다.
• 기하학적 기초 모델을 사용하여 조밀한 선호 신호를 자동으로 생성한다.
• Direct Preference Optimization (DPO)을 적용하여 생성 분포를 3D 일관성으로 이끈다.
• 최소한의 선호 쌍만 필요로 하는 데이터 효율적인 체계에서 작동한다.
• 인간 주석에 의존하지 않으면서 기하학적 타당성을 개선한다.

실험 결과

연구 질문

• RQ1 기초 모델에서 도출된 기하학적 선지가 비디오 확산 모델을 3D-일관성 있는 생성으로 이끌 수 있는가?
• RQ2 자동으로 도출된 선호를 사용하는 Direct Preference Optimization이 비디오의 시간적 안정성과 모션 일관성을 향상시키는가?
• RQ3 주석 없이 3D 구조적 일관성을 달성하는 데 이 접근 방식은 데이터 효율성이 얼마나 되는가?

주요 결과

• VideoGPA는 시간적 안정성, 기하학적 타당성 및 모션 일관성을 크게 향상시킨다.
• 해당 방법은 광범위한 실험에서 최소한의 선호 쌍으로 최첨단 baselines를 능가한다.
• 자기지도 신호를 통해 인간 주석을 필요로 하지 않으면서 3D 일관성이 달성된다.