[논문 리뷰] Dense Depth Priors for Neural Radiance Fields from Sparse Input Views

Barbara Roessle, Jonathan T. Barron외 3명|arXiv (Cornell University)|2021. 12. 06.

Advanced Vision and Imaging인용 수 16

한 줄 요약

이 논문은 희박한 SfM 재구성에서 유도된 조밀한 깊이 사전을 활용하여, 18~36장의 입력 이미지로만 실내 스케일 환경에서 신경 볼륨 영상장(NeRF) 뷰 합성에 대한 데이터 효율성을 향상시키는 방법을 제안한다. 이는 희박한 깊이를 조밀한 깊이 맵으로 보완하는 깊이 보완 네트워크를 통해 수행되며, 이 네트워크는 불확실성 추정을 포함하여 NeRF 최적화를 이끌어내어 기준 NeRF나 희박한 깊이만을 사용하는 방법보다 더 높은 품질의 새로운 뷰와 더 정확한 깊이 맵을 생성한다.

ABSTRACT

Neural radiance fields (NeRF) encode a scene into a neural representation that enables photo-realistic rendering of novel views. However, a successful reconstruction from RGB images requires a large number of input views taken under static conditions - typically up to a few hundred images for room-size scenes. Our method aims to synthesize novel views of whole rooms from an order of magnitude fewer images. To this end, we leverage dense depth priors in order to constrain the NeRF optimization. First, we take advantage of the sparse depth data that is freely available from the structure from motion (SfM) preprocessing step used to estimate camera poses. Second, we use depth completion to convert these sparse points into dense depth maps and uncertainty estimates, which are used to guide NeRF optimization. Our method enables data-efficient novel view synthesis on challenging indoor scenes, using as few as 18 images for an entire scene.

연구 동기 및 목표

• 표준 NeRF가 요구하는 것보다 훨씬 적은 수의 입력 이미지를 사용하여 실내 스케일 환경에서 고 fidelity의 새로운 뷰 합성을 가능하게 하기 위해.
• NeRF 성능을 저해하는 무문자 영역, 낮은 시야 겹침, 색상 일관성 문제를 해결하기 위해.
• 추가적인 깊이 센서가 필요 없이 희박한 SfM 재구성에서 유도된 조밀한 깊이 사전을 활용하여 NeRF 최적화를 향상시키기 위해.
• 불확실성 추정을 깊이 사전에 통합하여, 모호하거나 저조도 영역에서 NeRF 최적화를 더 견고하게 이끌기 위해.
• 대량의 입력 뷰에 대한 의존도를 줄이면서도 새로운 뷰 합성에서 기하학적 및 광학적 일관성을 유지하기 위해.

제안 방법

• 입력 이미지의 카메라 자세 추정 과정에서 유도되는 무료 부산물인 희박한 깊이 점을 사용한다.
• 희박한 SfM 깊이 점을 픽셀 단위의 불확실성 추정을 포함한 조밀한 깊이 맵으로 변환하기 위해 깊이 보완 네트워크를 활용한다.
• 조밀한 깊이 맵과 그들의 불확실성을 NeRF 최적화에 통합하여 시나리오 기하학과 외관을 정규화하는 감독 신호로 사용한다.
• 깊이 감독에 대해 기하학적 노이즈 손실(GNLL)을 적용하여 밀도 및 깊이 예측의 선명도를 향상시킨다.
• 각 카메라별 잠재 코드를 도입하여 뷰 의존 효과를 모델링하고 새로운 뷰 간의 색상 일관성을 보장한다.
• RGB 재구성, 불확실성 가중치가 적용된 깊이 감독, 깊이 일관성에 대한 GNLL을 조합한 다중 작업 손실을 사용하여 NeRF를 최적화한다.

실험 결과

연구 질문

• RQ1 희박한 SfM 재구성에서 유도된 조밀한 깊이 사전이 낮은 이미지 수 환경에서 NeRF 성능을 크게 향상시킬 수 있는가?
• RQ2 불확실성 인식 깊이 감독이 문자 없는 영역나 잘 관찰되지 않는 영역에서 NeRF 최적화에 어떤 영향을 미치는가?
• RQ3 깊이 보완 네트워크가 다양한 실내 환경에서 얼마나 일반화되는가? 이를 통해 데이터 효율적인 NeRF 학습을 지원할 수 있는가?
• RQ4 깊이 사전에 불확실성 정보를 통합함으로써 NeRF 출력에서 '플로터(플로팅 오브젝트)'나 색상 불일치와 같은 아티팩트를 줄일 수 있는가?
• RQ5 하나의 사전 학습된 깊이 사전 네트워크로도 최소한의 입력 이미지로 여러 실내 스케일 환경에서 고품질의 뷰 합성을 가능하게 할 수 있는가?

주요 결과

• 제안된 방법은 18~36장의 입력 이미지로만 ScanNet에서 PSNR 20.96, Matterport3D에서 PSNR 18.33을 달성하여 표준 NeRF보다 뚜렷이 뛰어난 성능을 보였다.
• 깊이 보완을 생략할 경우 ScanNet에서 PSNR가 20.09로 떨어지며, 조밀한 깊이 사전이 성능 향상에 필수적임을 시사한다.
• 불확실성 감독을 제거할 경우 테두리 오류 및 중복 현상과 같은 눈에 띄는 아티팩트가 발생하며, ScanNet에서 RMSE가 0.308로 증가한다.
• 깊이 손실에서 MSE로 대체할 경우, 특히 탄젠트 방향의 뷰에서 밀도 분포가 흐려지며, ScanNet에서 RMSE가 0.312로 증가한다.
• 잠재 코드를 제외할 경우 뷰 간 색상 이동과 밝기 불일치가 발생하며, ScanNet에서 RMSE가 0.293로 상승한다.
• 제거 실험 결과, 보완, 불확실성, GNLL, 잠재 코드 모두 이미지 품질 향상과 깊이 정확도 향상에 기여함을 확인하였다.