[논문 리뷰] Generative Novel View Synthesis with 3D-Aware Diffusion Models

Eric R. Chan, Koki Nagano외 8명|arXiv (Cornell University)|2023. 04. 05.

Advanced Vision and Imaging인용 수 8

한 줄 요약

단일 이미지로부터 확산 기반의 3D 인식형 몇-shot 새로운 뷰 합성 방법으로, 잠재 3D 특징 필드를 활용하여 시야 일관성 있고 다양한 렌더링과 autoregressive 3D-일관 시퀀스를 달성합니다.

ABSTRACT

We present a diffusion-based model for 3D-aware generative novel view synthesis from as few as a single input image. Our model samples from the distribution of possible renderings consistent with the input and, even in the presence of ambiguity, is capable of rendering diverse and plausible novel views. To achieve this, our method makes use of existing 2D diffusion backbones but, crucially, incorporates geometry priors in the form of a 3D feature volume. This latent feature field captures the distribution over possible scene representations and improves our method's ability to generate view-consistent novel renderings. In addition to generating novel views, our method has the ability to autoregressively synthesize 3D-consistent sequences. We demonstrate state-of-the-art results on synthetic renderings and room-scale scenes; we also show compelling results for challenging, real-world objects.

연구 동기 및 목표

• 단일 이미지로 강한 3D 일관성을 갖춘 새로운 시점 뷰 합성을 다룬다.
• 관찰 입력을 넘어 다양한 신뢰할 수 있는 뷰의 생성을 가능하게 한다.
• 장면 분포를 포착하기 위해 3D 특징 볼륨을 2D 확산 백본과 통합한다.
• 다중 뷰 조건화 및 자기회귀 시퀀스 생성을 지원한다.
• 합성 및 실제 데이터 세트에서 최첨단 결과를 입증한다.

제안 방법

• 입력 이미지로부터 파생된 3D 뉴럴 특징 필드에 2D 확산 모델을 조건부로 사용한다.
• 소스 시점 뷰 특징을 소스 프러스텀을 아우르는 볼륨 W로 언프로젝션하고 MLP로 디코딩하여 각 보셀 특징을 얻는다.
• 3D 특징 필드로부터 볼륨 렌더링을 통해 타깃 뷰 특징 이미지 F를 렌더링한다.
• F를 노이즈가 있는 타깃 이미지와 연결하고 조건부 확산 디노이저 U (DDPM++)로 디노이즈한다.
• denoised 출력과 타깃 간 L2 손실을 최소화하도록 엔드-투-엔드로 학습하되 조건화 뷰의 수를 1–3로 변화시킨다.
• 이전 생성 뷰에 조건화하여 프레이를 자기회귀적으로 생성하고 시퀀스 전반의 3D 일관성을 강제한다.

실험 결과

연구 질문

• RQ1 확산 기반 NVS 모델이 3D 특징 필드에 조건부로 제공될 때 단일 이미지로부터 다양하고 기하학적으로 일관된 새로운 뷰를 생성할 수 있는가?
• RQ2 3D 사전 정보를 도입하면 장거리 외삽 및 객체-장면 규모 데이터에서 뷰 일관성이 향상되는가?
• RQ3 다중 뷰 조건화가 자기회귀 생성에서 루프 종료(logic loop closure)와 시퀀스 일관성에 어떤 영향을 미치는가?
• RQ4 일-step(회귀와 유사한) 추론과 전체 자기회귀 샘플링 간의 품질 및 3D 일관성의 트레이드오프는 무엇인가?

주요 결과

Method	FID ↓	LPIPS ↓	DISTS ↓	PSNR ↑	SSIM ↑
PixelNeRF	65.83	0.146	0.203	23.2	0.90
ViewFormer	20.82	0.146	0.161	19.0	0.83
EG3D-PTI	27.23	0.150	0.310	19.0	0.85
3DiM (autoregressive) †	8.99	-	-	21.01	0.57
Ours (Explicit)	8.09	0.129	0.158	19.1	0.86
Geom.-Free	16.68	0.342	0.329	13.1	0.74
One-Step	42.07	0.150	0.178	23.2	0.91
Full (autoregressive)	11.08	0.120	0.146	20.6	0.89
Full	6.47	0.104	0.145	20.7	0.89

• 이 방법은 단일 입력으로부터 선명하고 다양한 새로운 뷰를 달성하며 ShapeNet과 CO3D에서 perceptual 지표(LPIPS, DISTS) 및 FID 기준으로 회귀 baselines를 능가한다.
• 자기회귀 조건화는 강한 COLMAP 재구성 및 ground truth와의 Chamfer-거리 정렬을 갖춘 기하학적으로 일관된 다중 뷰 시퀀스를 생성한다.
• 지형학적 제약이 없는 기존 확산 기반 baselines와 비교할 때, 잠재 특징 필드를 가진 3D-인식 접근 방식이 뷰 일관성과 사실성에서 우수하고 MP3D에서도 경쟁력 있는 혹은 더 나은 점수를 보인다.
• 일-step 추론은 PSNR/SSIM에서 경쟁력이 있지만 장거리 3D 일관성 면에서 뒤처지므로 ambiguity 해소를 위한 확산 샘플링의 가치가 강조된다.
• 모델(90M 파라미터)은 이전 연구의 대형 3D GAN 또는 확산 모델 대비 성능과 효율성의 균형을 이룬다.