[논문 리뷰] BeyondPixels: A Comprehensive Review of the Evolution of Neural Radiance Fields

AKM Shahariar Azad Rabby, Chengcui Zhang|arXiv (Cornell University)|2023. 06. 05.

3D Surveying and Cultural Heritage인용 수 11

한 줄 요약

이 설문은 최근 NeRF 문헌을 하나로 모으고, 아키텍처 및 확장성별로 발전을 분류하며 품질, 효율성, 대규모 씬 처리 향상을 요약한다.

ABSTRACT

Neural rendering combines ideas from classical computer graphics and machine learning to synthesize images from real-world observations. NeRF, short for Neural Radiance Fields, is a recent innovation that uses AI algorithms to create 3D objects from 2D images. By leveraging an interpolation approach, NeRF can produce new 3D reconstructed views of complicated scenes. Rather than directly restoring the whole 3D scene geometry, NeRF generates a volumetric representation called a ``radiance field,'' which is capable of creating color and density for every point within the relevant 3D space. The broad appeal and notoriety of NeRF make it imperative to examine the existing research on the topic comprehensively. While previous surveys on 3D rendering have primarily focused on traditional computer vision-based or deep learning-based approaches, only a handful of them discuss the potential of NeRF. However, such surveys have predominantly focused on NeRF's early contributions and have not explored its full potential. NeRF is a relatively new technique continuously being investigated for its capabilities and limitations. This survey reviews recent advances in NeRF and categorizes them according to their architectural designs, especially in the field of novel view synthesis.

연구 동기 및 목표

• 새로운 시점 합성 및 신경 렌더링 전반에 걸친 NeRF 기반 연구를 동기 부여하고 조사한다.
• 원래 프레임워크의 설계 및 확장에 따라 NeRF 문헌을 분류한다.
• 품질, 편집 및 확장성에서의 강점과 한계, 실무적 도전과제를 강조한다.
• 핵심 도전 과제를 극복하기 위해 향후 NeRF 연구를 안내할 새로운 분류 체계를 제안한다.

제안 방법

• 밀도와 방사를 출력하는 MLP에 5D 좌표 입력으로 NeRF의 기초를 설명한다.
• 샘플링 및 에일리어싱 문제를 cone tracing과 다중 스케일 표현(Mip-NeRF 등)을 통해 해결한 개선들을 검토한다.
• 효율성과 대규모 씬을 위한 포인트 기반, 보셀 기반, 융합 접근법(Point-NeRF, NeRFusion 등)을 요약한다.
• 훈련/추론 최적화를 포함한 확장 가능한 NeRF 변형들(FastNeRF, KiloNeRF, Block-NeRF, Mega-NeRF)을 설명한다.
• 변형 및 편집 가능성 확장(DRF-Cages, dynamic NeRFs)과 그 한계에 대해 논의한다.

실험 결과

연구 질문

• RQ1 처음 이후 NeRF 개선을 주도한 주요 아키텍처 범주와 확장은 무엇인가?
• RQ2 품질, 에일리어싱 및 샘플링 이슈가 NeRF 성능에 어떤 영향을 미치며 어떤 기법이 이를 완화하는가?
• RQ3 NeRF를 대규모 씬으로 확장하고 실시간 또는 준실시간 렌더링을 달성하는 전략은 무엇인가?
• RQ4 동적/관절 객체 표현 및 씬 편집에서 NeRF 프레임워크의 현재 한계는 무엇인가?
• RQ5 핵심 병목과 응용에 대처하기 위해 향후 NeRF 연구를 어떻게 체계적으로 구성해야 하는가?

주요 결과

• Mip-NeRF는 원뿔 기반 표현과 통합 위치 인코딩으로 에일리어싱을 줄이고 정확도를 향상시킨다.
• Point-NeRF는 효율성을 높이기 위해 가지치기/확장을 포함하는 포인트 기반 표현을 도입한다.
• NeRFusion은 지역 방사장을 GRU 및 희소 3D CNN과 융합하여 전역 씬 재구성을 가능하게 한다.
• FastNeRF는 이중 네트워크 분해와 캐싱으로 약 200 FPS 렌더링을 가속화하고 메모리 사용을 현저히 낮춘다.
• KiloNeRF 및 Block/Mega-NeRF는 타일링, 캐싱 및 계층적 샘플링으로 대규모 씬 처리와 확장을 다룬다.
• 동적/관절 NeRF 접근법(예: DeVRF, 카지 기반 변형)은 비정적이 아닌 씬으로 NeRF를 확장하지만 남아 있는 인공물과 한계가 있다.