[논문 리뷰] GeCoNeRF: Few-shot Neural Radiance Fields via Geometric Consistency

Minseop Kwak, Jiuhn Song외 1명|arXiv (Cornell University)|2023. 01. 26.

Advanced Vision and Imaging인용 수 8

한 줄 요약

GeCoNeRF는 입력 뷰를 관찰되지 않은 시점으로 깊이 가이드 왜곡하여 few-shot 설정에서 NeRF를 정규화하고, 가림 인식 마스킹으로 특징 수준의 기하학적 일관성을 강화합니다.

ABSTRACT

We present a novel framework to regularize Neural Radiance Field (NeRF) in a few-shot setting with a geometry-aware consistency regularization. The proposed approach leverages a rendered depth map at unobserved viewpoint to warp sparse input images to the unobserved viewpoint and impose them as pseudo ground truths to facilitate learning of NeRF. By encouraging such geometry-aware consistency at a feature-level instead of using pixel-level reconstruction loss, we regularize the NeRF at semantic and structural levels while allowing for modeling view dependent radiance to account for color variations across viewpoints. We also propose an effective method to filter out erroneous warped solutions, along with training strategies to stabilize training during optimization. We show that our model achieves competitive results compared to state-of-the-art few-shot NeRF models. Project page is available at https://ku-cvlab.github.io/GeCoNeRF/.

연구 동기 및 목표

• 제한된 뷰로 인해 기하학과 외관이 드리프트하는 few-shot NeRF의 제약적 특성을 해결한다.
• 깊이 렌더링된 워프를 의사 Ground Truth로 사용하는 기하학적 일관성 규제를 제안한다.
• 시점 의존 방사량을 다루면서 의미 및 구조 정보를 포착하기 위해 특징 수준의 일관성을 모델링한다.
• 가림 마스크와 점진적 학습 전략으로 학습을 안정화한다.

제안 방법

• NeRF에서 보지 못한 시점의 깊이 맵을 렌더링하여 관측된 이미지를 새로운 시점으로 워핑한다.
• 다층 VGG-19 특징을 사용하여 워핑된 입력과 렌더링된 뷰 간의 특징 수준 일관성 손실을 적용한다.
• 손실에서 신뢰할 수 없는 워핑 영역을 제외하도록 가림 인식 일관성 마스크를 적용한다.
• 로컬 깊이 매끄러움을 촉진하기 위해 엣지 인식 시차 항으로 깊이를 규제한다.
• 최적화를 안정화하기 위해 점진적 카메라 포즈 생성과 주파수 어닐링을 사용한다.

실험 결과

연구 질문

• RQ1 깊이 가이드 워핑과 기하학적 일관성이 few-shot NeRF 성능을 개선할 수 있는가?
• RQ2 특징 수준의 일관성이 픽셀 수준 손실보다 비 Lambertian 외관과 가림 처리에 더 잘 작용하는가?
• RQ3 가림 마스크와 깊이 규제가 few-shot NeRF의 안정성 및 재구성 품질에 어떤 영향을 주는가?
• RQ4 희소 뷰 NeRF 설정에서 최적화를 가장 안정화하는 학습 전략은 무엇인가?

주요 결과

방법	NeRF-Synthetic PSNR	NeRF-Synthetic SSIM	NeRF-Synthetic LPIPS	NeRF-Synthetic Avg.	LLFF PSNR	LLFF SSIM	LLFF LPIPS	LLFF Avg.
NeRF	14.73	0.734	0.451	0.199	13.34	0.373	0.451	0.255
mip-NeRF	17.71	0.798	0.745	0.178	14.62	0.351	0.495	0.246
DietNeRF	16.06	0.793	0.306	0.151	14.94	0.370	0.496	0.232
InfoNeRF	18.65	0.811	0.230	0.111	14.37	0.349	0.457	0.238
RegNeRF	18.01	0.842	0.352	0.132	19.08	0.587	0.336	0.146
GeCoNeRF (Ours)	19.23	0.866	0.201	0.096	18.77	0.596	0.338	0.145

• GeCoNeRF는 NeRF-Synthetic과 LLFF에서 최첨단 few-shot NeRF 방법과 비교해 경쟁력 있는 PSNR/SSIM/LPIPS를 달성한다.
• 가림 마스킹과 함께 하는 특징 수준 일관성은 워핑 실패로 인한 기하학적 저하를 방지하고 세부 묘사를 향상시킨다.
• 가림 마스크는 신뢰할 수 없는 워핑 영역을 제거하여 전체 재구성의 안정성과 품질을 크게 높인다.
• 엣지 인식 시차 규제는 기하학을 정제하고 인공물을 감소시킨다.
• 점진적 포즈 샘플링과 주파수 어닐링은 학습을 크게 안정시키고 결과를 향상시킨다.