[논문 리뷰] PANeRF: Pseudo-view Augmentation for Improved Neural Radiance Fields Based on Few-shot Inputs

Young Chun Ahn, Seok-Hwan Jang외 3명|arXiv (Cornell University)|2022. 11. 23.

Advanced Vision and Imaging인용 수 4

한 줄 요약

PANeRF는 소수의 입력에서 기하학적으로 타당한 새로운 시야를 합성하는 가짜 시야 증강(PA) 기법을 제안하여 NeRF 학습을 향상시킨다. DINO-ViT에서 유도한 중요도 맵을 활용해 전경과 배경 영역을 분리함으로써 초기 학습을 위한 신뢰할 수 있는 가짜 시야를 생성하고, 이후 다중 수준의 의미 일致성(MSC)과 정보 잠재력(IP) 정규화를 적용한 이중 단계의 미세조정을 수행하여, 1장의 입력조차도 최신 기술 수준의 시야 합성 품질을 달성한다.

ABSTRACT

The method of neural radiance fields (NeRF) has been developed in recent years, and this technology has promising applications for synthesizing novel views of complex scenes. However, NeRF requires dense input views, typically numbering in the hundreds, for generating high-quality images. With a decrease in the number of input views, the rendering quality of NeRF for unseen viewpoints tends to degenerate drastically. To overcome this challenge, we propose pseudo-view augmentation of NeRF, a scheme that expands a sufficient amount of data by considering the geometry of few-shot inputs. We first initialized the NeRF network by leveraging the expanded pseudo-views, which efficiently minimizes uncertainty when rendering unseen views. Subsequently, we fine-tuned the network by utilizing sparse-view inputs containing precise geometry and color information. Through experiments under various settings, we verified that our model faithfully synthesizes novel-view images of superior quality and outperforms existing methods for multi-view datasets.

연구 동기 및 목표

• AR/VR 및 자율주행과 같은 실세계 응용에서 입력 시야가 적을 경우 NeRF 렌더링 품질이 열화되는 문제를 해결하기 위해.
• 기존의 소수의 입력에 기반한 NeRF 방법들이 새로운 시점에서 기하학적 정확도 저하, 떠 있는 아티팩트, 세부 정보 손실 등의 문제를 겪는 것을 극복하기 위해.
• 특히 단일 시점 입력과 같은 극도로 자료가 부족한 상황에서도 NeRF 최적화의 일반화 능력을 향상시키고 불확실성을 줄이기 위해.
• 우수한 시야 합성을 위해 데이터 증강과 의미 인식 정규화를 결합한 견고한 학습 파이프라인을 개발하기 위해.

제안 방법

• 가짜 시야 증강(PA)은 깊이 맵을 사용해 입력 이미지를 왜곡하여 합성 시야를 생성함으로써, 원래 입력 시야 주변의 훈련 데이터 분포를 확장한다.
• DINO-ViT에서 유도한 중요도 맵을 활용해 전경과 배경 영역을 분할하고, 왜곡 아티팩트의 영향을 줄이기 위해 영역별 손실 계산을 수행한다.
• 이중 단계의 학습 과정을 적용한다: 먼저 모든 증강된 가짜 시야에서 NeRF를 사전 학습하여 새로운 시야 예측의 불확실성을 줄인다.
• 그 후, 진짜 희소 입력 시야를 사용하여 두 가지 새로운 정규화 손실을 적용한 미세조정을 수행한다: 다중 수준 의미 일치성(MSC)과 정보 잠재력(IP).
• MSC는 국소적 및 전반적 수준에서 의미 일치성을 강제하여, 다양한 시점 간의 구조적 및 의미적 일致성을 유지한다.
• IP는 레이를 따라 불확실성을 최소화하도록 유도하여, 특히 자료가 부족한 상황에서 레이던스 예측의 일관성을 높인다.

실험 결과

연구 질문

• RQ1 단일 입력 시점에서만 학습할 경우, 가짜 시야 증강이 NeRF 성능을 크게 향상시킬 수 있는가?
• RQ2 왜곡 아티팩트가 존재하는 상황에서 중요도 맵을 활용한 영역별 손실 계산이 가짜 시야 학습의 신뢰성에 어떤 영향을 미치는가?
• RQ3 제안된 MSC 및 IP 정규화 기법이 새로운 시야 합성에서 불확실성을 얼마나 줄이고 기하학적·의미적 일치성을 얼마나 향상시키는가?
• RQ4 다양한 데이터셋과 설정에서 PANeRF가 기존의 소수의 입력 기반 NeRF 방법들과 비교해 PSNR, SSIM, LPIPS 측면에서 어떻게 성능을 냈는가?

주요 결과

• 1장의 입력을 가진 DTU 데이터셋에서 PANeRF는 PSNR 22.82를 기록하여 베이스라인 NeRF(20.07)와 다른 최신 기술 수준의 방법들을 압도적으로 앞섰다.
• 실제적인 360° 합성 데이터셋의 좁은 기준선 설정에서 PANeRF는 PSNR 21.50과 LPIPS 0.156을 달성하여 InfoNeRF(PSNR 18.41, LPIPS 0.199)를 뛰어넘었다.
• 제거 실험을 통해 PA와 MSC, IP 정규화를 모두 조합했을 때 PSNR가 최고 수준(22.82)에 도달하고 LPIPS가 최저 수준(0.144)을 기록하여 상호 보완적인 향상 효과를 입증했다.
• MSC 손실은 이전 연구에서 제안한 SC 손실보다 우수한 성능을 보였으며, 그림 6의 확대 영역에서 명확히 확인된 바와 같이 더 선명한 세부 정보와 더 나은 의미 일치성을 제공했다.
• 이 방법은 단일 시점 및 좁은 기준선 입력과 같은 극단적인 경우를 포함해 여러 데이터셋과 설정에서 견고성을 보였으며, 높은 품질의 시야 합성을 유지했다.