[논문 리뷰] HoloDiffusion: Training a 3D Diffusion Model using 2D Images

Animesh Karnewar, Andrea Vedaldi외 2명|arXiv (Cornell University)|2023. 03. 29.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

HoloDiffusion는 3D 감독 없이도 투영된 2D 이미지만으로 훈련하는 최초의 3D 인식 생성 확산 모델을 소개한다. 하이브리드 명시적-암시적 특징 격자와 가시화 손실을 활용해 3D 감독 없이도 엔드 투 엔드 훈련이 가능하게 하며, CO3Dv2 데이터셋에서 최신 기준 성능을 달성한다. FID 및 KID 지표에서 기존 방법들을 능가하며, 메모리와 계산 자원에 독립적인 추론을 유지한다.

ABSTRACT

Diffusion models have emerged as the best approach for generative modeling of 2D images. Part of their success is due to the possibility of training them on millions if not billions of images with a stable learning objective. However, extending these models to 3D remains difficult for two reasons. First, finding a large quantity of 3D training data is much more complex than for 2D images. Second, while it is conceptually trivial to extend the models to operate on 3D rather than 2D grids, the associated cubic growth in memory and compute complexity makes this infeasible. We address the first challenge by introducing a new diffusion setup that can be trained, end-to-end, with only posed 2D images for supervision; and the second challenge by proposing an image formation model that decouples model memory from spatial memory. We evaluate our method on real-world data, using the CO3D dataset which has not been used to train 3D generative models before. We show that our diffusion models are scalable, train robustly, and are competitive in terms of sample quality and fidelity to existing approaches for 3D generative modeling.

연구 동기 및 목표

• 3D 감독 없이도 큰 규모의 3D 데이터셋이 필요 없이 투영된 2D 이미지만으로 3D 확산 모델을 훈련시키는 것을 목표로 한다.
• 3D 확산의 입체적 메모리 및 계산 복잡도 문제를 해결하기 위해 특징 격자 해상도를 렌더링 해상도에서 분리한다.
• 학습 가능한 가시화 모듈을 통해 2D 이미지 데이터만으로도 3D 일관성 있는 생성을 보장한다.
• 기존 3D 생성 모델과 비교해 경쟁적인 샘플 품질과 정확도를 달성함으로써 2D 감독만으로도 훈련된다는 점을 목표로 한다.
• 실제 세계의 카테고리 특화된 3D 데이터, CO3Dv2 데이터셋에서의 확장성과 강건성을 입증한다.

제안 방법

• 하이브리드 명시적-암시적 특징 격자를 사용해 3D 특징을 저장하고, 임의의 시점으로 가시화 가능한 방식으로 렌더링을 가능하게 한다.
• 사전 훈련된 이미지 인코더가 입력 2D 이미지에서 특징을 추출하고, 이를 3D 특징 격자를 조건화하는 데 사용한다.
• 3D 특징 격자에 노이즈를 추가하고, 렌더링된 이미지와 실제 훈련 이미지 간의 광학적 손실을 사용해 3D U-Net 노이즈 제거기 모델을 훈련시킨다.
• 훈련 목표는 노이즈 제거된 격자에서 렌더링된 이미지와 해당 진짜 이미지 간의 L2 손실로 정의되며, 이는 엔드 투 엔드 최적화를 가능하게 한다.
• 특징 격자 해상도를 렌더링 해상도에서 분리함으로써 메모리 복잡도를 감소시키고, 모델 크기 증가 없이도 고해상도 렌더링을 가능하게 한다.
• 3D 진짜 데이터에 접근하지 않고도 투영된 이미지 감독만으로 엔드 투 엔드 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 3D 감독 없이도 투영된 2D 이미지만으로 3D 확산 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 2D 이미지 데이터로만 훈련된 확산 모델에서 3D 시점 일관성을 어떻게 확보할 수 있는가?
• RQ3 특징 격자 해상도를 렌더링 해상도에서 분리함으로써 메모리 효율적인 3D 표현을 설계할 수 있는가?
• RQ4 2D 감독만으로 훈련된 3D 확산 모델의 성능은 기존 3D 생성 모델과 비교해 샘플 품질과 정확도 측면에서 어떻게 되는가?
• RQ5 모델은 소수의 이미지 입력에서도 일반화가 가능하고, 다양하고 고품질의 3D 일관성 있는 샘플을 생성할 수 있는가?

주요 결과

• HoloDiffusion는 CO3Dv2 데이터셋에서 최신 기준 FID 및 KID 점수를 달성했으며, 평균 FID는 104.9, 평균 KID는 0.091로 EG3D와 GET3D를 능가한다.
• 티드 베어 카테고리에서 HoloDiffusion는 FID 109.2, KID 0.106을 기록했으며, pi-GAN의 125.8 FID 및 0.118 KID보다 유의미하게 뛰어나다.
• 질적 비교를 통해 시점 간 일관된 외관을 유지하는 고도로 시점 일관성 있는 샘플을 생성함을 입증했으며, pi-GAN는 3D 일관성이 결여되어 있음을 보여준다.
• 소수의 이미지 설정에서도 잘 일반화되며, 제한된 감독 조건에서도 강건한 훈련을 유지한다.
• 반복적 샘플링 과정에서 노이즈에서 시작해 일관된 3D 구조로 진화하는 모습을 통해 모델의 3D 인식 생성 능력이 뚜렷하다.
• 제거 분석 결과 HoloDiffusion의 부트스트랩 버전이 성능 향상을 이룬다는 점을 확인했으며, 자기 지도적 개선의 이점이 있음을 시사한다.