[논문 리뷰] ReconFusion: 3D Reconstruction with Diffusion Priors

Rundi Wu, Ben Mildenhall외 9명|arXiv (Cornell University)|2023. 12. 05.

Advanced Vision and Imaging인용 수 20

한 줄 요약

ReconFusion은 novel view 합성을 위해 학습된 diffusion prior를 사용하여 NeRF 기반 재구성을 규제하고, 입력 뷰가 3–9개인 경우에도 고품질 3D 재구성을 가능하게 하며 전방향 및 360도 장면 전반에서 형상과 텍스처의 인공물을 줄입니다.

ABSTRACT

3D reconstruction methods such as Neural Radiance Fields (NeRFs) excel at rendering photorealistic novel views of complex scenes. However, recovering a high-quality NeRF typically requires tens to hundreds of input images, resulting in a time-consuming capture process. We present ReconFusion to reconstruct real-world scenes using only a few photos. Our approach leverages a diffusion prior for novel view synthesis, trained on synthetic and multiview datasets, which regularizes a NeRF-based 3D reconstruction pipeline at novel camera poses beyond those captured by the set of input images. Our method synthesizes realistic geometry and texture in underconstrained regions while preserving the appearance of observed regions. We perform an extensive evaluation across various real-world datasets, including forward-facing and 360-degree scenes, demonstrating significant performance improvements over previous few-view NeRF reconstruction approaches.

연구 동기 및 목표

• 고품질 NeRF 재구성에 필요한 입력 뷰 수를 줄여 3D 캡처를 민주화하고자 함.
• novel viewpoint에서의 강건성을 개선하기 위한 NeRF 최적화의 diffusion-prior 기반 규제기 제안.
• 제약이 적은 영역에서 타당한 기하학 및 텍스처를 합성하기 위해 기존 NeRF 파이프라인과 다중 뷰 조건 diffusion 모델을 통합.
• 전방향 및 무한대 360° 장면에 걸친 일반화 성능 평가 및 최첨단 few-view NeRF 방법과의 비교.
• 다양한 촬영 밀도에서 diffusion prior가 드롭인(regulator) 규제로 작동함을 시연합니다.

제안 방법

• 포즈가 있는 다중 뷰 입력에 조건부 latent diffusion 모델을 학습하여 그럴듯한 새로운 시점을 합성한다.
• diffusion 모델을 PixelNeRF로 생성된 특징 맵과 Cross-attention을 통해 CLIP 기반 이미지 임베딩으로 조건화한다.
• 실제 및 합성 다중 뷰 데이터셋에서 diffusion 모델을 미세조정하여 novel view 합성에 대한 일반 priors를 얻는다.
• Zip-NeRF 재구성 파이프라인에 확산 기반 priors를 distillation-like sampling 손실로 도입하여 3D 최적화를 현실적인 novel-view 렌더링으로 유도한다.
• 중간 diffusion 노이즈 레벨에서 목표 이미지를 생성하는 progressive sampling 전략을 사용해 NeRF 최적화를 규제하는 샘플 기반 손실을 형성한다.
• 관찰된 이미지와 포즈 세트를 조건으로 가변 개수의 입력 뷰를 허용한다; 조건화는 주어진 novel view에 대해 가장 가까운 3개 뷰를 사용한다.

실험 결과

연구 질문

• RQ1 다중 뷰 데이터에서 학습된 diffusion prior가 NeRF 재구성을 규제하여 몇 개의 뷰로도 그럴듯한 기하학 및 외관을 만들어낼 수 있는가?
• RQ2 diffusion 기반 priors의 통합이 전방향 및 무한대 360° 장면에서 재구성 품질과 인공물 감소에 어떤 영향을 미치는가?
• RQ3 diffusion priors가 서로 다른 촬영 밀도와 데이터셋에서 강력한 드롭인 규제자인가?

주요 결과

Method	3-view PSNR	6-view PSNR	9-view PSNR	3-view SSIM	6-view SSIM	9-view SSIM	3-view LPIPS	6-view LPIPS	9-view LPIPS
Zip-NeRF*	20.77	27.34	31.56	0.774	0.906	0.947	0.332	0.180	0.118
DiffusioNeRF	19.12	24.18	27.78	0.710	0.808	0.869	0.444	0.344	0.282
FreeNeRF	20.54	25.63	27.32	0.731	0.817	0.843	0.394	0.344	0.332
SimpleNeRF	23.89	28.75	29.55	0.839	0.896	0.900	0.292	0.239	0.236
ZeroNVS*	19.11	22.54	23.73	0.675	0.744	0.766	0.422	0.374	0.358
Ours	25.84	29.99	31.82	0.910	0.951	0.961	0.144	0.103	0.092
Zip-NeRF* (LLFF)	17.23	20.71	23.63	0.574	0.764	0.830	0.373	0.221	0.166
RegNeRF	19.08	23.09	24.84	0.587	0.760	0.820	0.374	0.243	0.196
DiffusioNeRF	20.13	23.60	24.62	0.631	0.775	0.807	0.344	0.235	0.216
FreeNeRF	19.63	23.72	25.12	0.613	0.773	0.820	0.347	0.232	0.193
SimpleNeRF	19.24	23.05	23.98	0.623	0.737	0.762	0.375	0.296	0.286
ZeroNVS*	15.91	18.39	18.79	0.359	0.449	0.470	0.512	0.438	0.416
Ours	21.34	24.25	25.21	0.724	0.815	0.848	0.203	0.152	0.134
Zip-NeRF* (DTU)	9.18	8.84	9.23	0.601	0.589	0.592	0.383	0.370	0.364
RegNeRF	19.39	22.24	24.62	0.777	0.850	0.886	0.203	0.135	0.106
DiffusioNeRF	16.14	20.12	24.31	0.731	0.834	0.888	0.221	0.150	0.111
FreeNeRF	20.46	23.48	25.56	0.826	0.870	0.902	0.173	0.131	0.102
SimpleNeRF	16.25	20.60	22.75	0.751	0.828	0.856	0.249	0.190	0.176
ZeroNVS*	16.71	17.70	17.92	0.716	0.737	0.745	0.223	0.205	0.200
Ours	20.74	23.62	24.62	0.875	0.904	0.921	0.124	0.105	0.094
Zip-NeRF* (CO3D)	14.34	14.48	14.97	0.496	0.497	0.514	0.652	0.617	0.590
DiffusioNeRF	15.65	18.05	19.69	0.575	0.603	0.631	0.597	0.544	0.500
FreeNeRF	13.28	15.20	17.35	0.461	0.523	0.575	0.634	0.596	0.561
SimpleNeRF	15.40	18.12	20.52	0.553	0.622	0.672	0.612	0.541	0.493
SparseFusion	16.76	18.77	19.13	0.561	0.600	0.604	0.695	0.653	0.651
ZeroNVS*	17.13	19.72	20.50	0.581	0.627	0.640	0.566	0.515	0.500
Ours	19.59	21.84	22.95	0.662	0.714	0.736	0.398	0.342	0.318
Zip-NeRF* (mip-NeRF360)	12.77	13.61	14.30	0.271	0.284	0.312	0.705	0.663	0.633
DiffusioNeRF	11.05	12.55	13.37	0.189	0.255	0.267	0.735	0.692	0.680
FreeNeRF	12.87	13.35	14.59	0.260	0.283	0.319	0.715	0.717	0.695
SimpleNeRF	13.27	13.67	15.15	0.283	0.312	0.354	0.741	0.721	0.676
ZeroNVS*	14.44	15.51	15.99	0.316	0.337	0.350	0.680	0.663	0.655
Ours	15.50	16.93	18.19	0.358	0.401	0.432	0.585	0.544	0.511

• ReconFusion은 RealEstate10K, LLFF, DTU, CO3D, mip-NeRF 360 데이터셋에서 최첨단 few-view NeRF 벤치마크를 능가합니다.
• RealEstate10K(3/6/9 뷰)에서 각각 25.84/29.99/31.82 PSNR, 0.910/0.951/0.961 SSIM, 0.144/0.103/0.092 LPIPS를 달성합니다.
• LLFF(3/6/9 뷰)에서 각각 21.34/24.25/25.21 PSNR, 0.724/0.815/0.848 SSIM, 0.203/0.152/0.134 LPIPS를 달성합니다.
• DTU(3/6/9 뷰)에서 각각 20.74/23.62/24.62 PSNR, 0.875/0.904/0.921 SSIM, 0.124/0.105/0.094 LPIPS를 달성합니다.
• CO3D(3/6/9 뷰)에서 각각 19.59/21.84/22.95 PSNR, 0.662/0.714/0.736 SSIM, 0.398/0.342/0.318 LPIPS를 달성합니다.
• mip-NeRF 360(3/6/9 뷰)에서 각각 15.50/16.93/18.19 PSNR, 0.358/0.401/0.432 SSIM, 0.585/0.544/0.511 LPIPS를 달성합니다.