[논문 리뷰] NeRF++: Analyzing and Improving Neural Radiance Fields

Kai Zhang, Gernot Riegler외 2명|arXiv (Cornell University)|2020. 10. 15.

Computer Graphics and Visualization Techniques참고 문헌 20인용 수 509

한 줄 요약

NeRF++는 NeRF의 형태-방사선 모호성을 분석하고 무한대 360도 장면을 더 잘 다루기 위해 역 구면 매개화(inverted-sphere parameterization)를 도입하여 challenging 데이터셋에서 NeRF보다 우수한 뷰 합성을 달성합니다.

ABSTRACT

Neural Radiance Fields (NeRF) achieve impressive view synthesis results for a variety of capture settings, including 360 capture of bounded scenes and forward-facing capture of bounded and unbounded scenes. NeRF fits multi-layer perceptrons (MLPs) representing view-invariant opacity and view-dependent color volumes to a set of training images, and samples novel views based on volume rendering techniques. In this technical report, we first remark on radiance fields and their potential ambiguities, namely the shape-radiance ambiguity, and analyze NeRF's success in avoiding such ambiguities. Second, we address a parametrization issue involved in applying NeRF to 360 captures of objects within large-scale, unbounded 3D scenes. Our method improves view synthesis fidelity in this challenging scenario. Code is available at https://github.com/Kai-46/nerfplusplus.

연구 동기 및 목표

• 실제로 NeRF가 왜 형태-방사선 모호성을 회피하는지 조사한다.
• 360° 무한대 장면 캡처에서 NeRF의 한계를 분석한다.
• 360° 캡처에서 무한대 장면을 더 잘 다루는 매개화를 제안한다.
• 실세계 360° 및 무한대 데이터셋에서 향상된 재현성을 입증한다.

제안 방법

• 형태-방사선 모호성 및 NeRF의 MLP 구조가 암묵적 규제기로 작용하는지에 초점을 맞춰 NeRF의 실패 모드를 분석한다.
• 360° 무한대 장면에서 전경과 배경을 분리하기 위해 역 구면 매개화를 도입한다.
• 전경이 있는 내부 경계 부피와 외부 역 구면 배경 부피로 장면을 나누고 두 개의 독립적인 NeRF로 렌더링하여 합성된 결과를 얻는다.
• 위치 및 시점 방향에 대한 Fourier 특징 인코딩을 사용하여 고주파 콘텐츠를 제어한다.
• Tank and Temples 및 Light Field 데이터셋에서 NeRF와 NeRF++를 PSNR, SSIM, LPIPS로 비교 평가한다.

실험 결과

연구 질문

• RQ1 NeRF에서 형태-방사선 모호성이 발생하는 원인과 NeRF의 아키텍처가 어떤 조건에서 이를 회피할 수 있는가?
• RQ2 360° 캡처를 포함한 무한대 장면을 견고하게 모델링하도록 NeRF를 어떻게 적응시킬 수 있을까? 전경 세부를 희생하지 않고도?
• RQ3 역 구면 매개화를 통해 전경과 배경을 구분하는 것이 무한대 장면에서 뷰 합성 충실도를 향상시키는가?
• RQ4 실세계의 360° 및 무한대 데이터셋에서 NeRF++의 PSNR/SSIM/LPIPS 수치는 NeRF에 비해 얼마나 개선되는가?

주요 결과

장면	NeRF LPIPS	NeRF SSIM	NeRF PSNR	NeRF++ LPIPS	NeRF++ SSIM	NeRF++ PSNR
Truck	0.513	0.747	20.85	0.298	0.823	22.77
Train	0.651	0.635	16.64	0.523	0.672	17.17
M60	0.602	0.702	16.86	0.435	0.738	17.88
Playground	0.529	0.765	21.55	0.391	0.799	22.37
Africa	0.217	0.894	26.16	0.163	0.923	27.41
Basket	0.377	0.805	20.83	0.254	0.884	21.84
Torch	0.347	0.811	22.81	0.226	0.867	24.68
Ship	0.372	0.801	23.24	0.241	0.867	25.35

• NeRF의 MLP 구조와 제한된 방향성 Fourier 특징은 반사율을 암묵적으로 규제하여 실제로 비정상적인 형태-방사선 해를 피하는 데 도움을 준다.
• 방사에 대한 일반화가 감소하는 기본 대칭 MLP는 새로운 시점에서의 일반화를 제한하는 방사 프라이어의 역할을 뒷받침한다.
• NeRF++는 Tanks and Temples 및 Light Field 데이터셋의 360° 무한대 장면에서 LPIPS, SSIM, PSNR 지표 전반에서 NeRF보다 크게 우수한 성능을 보인다.
• 전경과 배경을 역 구면 매개화로 분리하면 배경 영역의 해상도 문제를 해결하고 무한대 장면에서 충실도가 높아진다.
• 두 개의 독립적인 NeRF와 경계 내 내부 부피로의 전경/배경 분해는 이전에 문제가 되었던 무한대 환경에서도 렌더링을 가능하게 한다.