[논문 리뷰] Neural Volume Rendering: NeRF And Beyond

Frank Dellaert, Yen-Chen Lin|arXiv (Cornell University)|2020. 12. 17.

Computer Graphics and Visualization Techniques참고 문헌 39인용 수 33

한 줄 요약

NeRF를 촉매로 한 신경 부피 렌더링에 대한 주석이 달린 참고문헌 및 개관으로, NeRF 이전의 암시적 표현, NeRF의 기본 원리, 그리고 속도, 다이내믹, 재조명, 형상화, 구성, 자세 등 다양한 후속 방향을 survey한다.

ABSTRACT

Besides the COVID-19 pandemic and political upheaval in the US, 2020 was also the year in which neural volume rendering exploded onto the scene, triggered by the impressive NeRF paper by Mildenhall et al. (2020). Both of us have tried to capture this excitement, Frank on a blog post (Dellaert, 2020) and Yen-Chen in a Github collection (Yen-Chen, 2020). This note is an annotated bibliography of the relevant papers, and we posted the associated bibtex file on the repository.

연구 동기 및 목표

• 신경 부피 렌더링의 정의와 신경 렌더링에서의 위치를 규정한다.
• 암시적 표면 표현에 기초한 주요 선행 연구를 요약한다.
• NeRF를 설명하고 왜 이 분야의 급속한 성장을 촉발했는지 설명한다.
• 주요 후속 방향과 그 목표(속도, 다이내믹, 재조명, 형상 사전, 구성, 포즈)를 조사한다.
• 연구자를 위한 프로젝트 사이트 및 arXiv 항목으로 연결된 선별된 참고문헌을 제공한다.

제안 방법

• 암시적 표면에서 신경 부피 렌더링으로의 진화를 주석 처리하고 맥락화한다.
• 핵심 연구들(occupancy fields, DeepSDF, PIFu)을 인용하고 이를 통해 암시적 함수들을 뒷받침하는 맥락을 제시한다.
• NeRF의 단순한 MLP + 볼륨 적분 및 그 영향(푸리에 특징, 위치 인코딩)을 설명한다.
• 성능, 다이내믹, 재조명, 구성 전반에 걸친 후속 연구를 대표 논문과 함께 목록화한다.
• 손쉬운 접근을 위해 프로젝트 사이트/arXiv 링크를 포함한 주석이 달린 참고문헌을 제공한다.

실험 결과

연구 질문

• RQ1 NeRF의 학습 및 렌더링 속도를 제약하는 요인은 무엇이며, 이후 연구들이 이를 어떻게 해결했는가?
• RQ2 신경 방사 필드가 다이나믹한 장면 및 비강체/변형 가능한 콘텐츠를 어떻게 처리할 수 있는가?
• RQ3 뉴럴 렌더링 프레임워크에서 재조명과 외관 제어를 가능하게 하는 접근 방식은 무엇인가?
• RQ4 형상 사전 및 잠재 코드가 3D 인식 이미지 합성 및 일반화를 어떻게 향상시킬 수 있는가?
• RQ5 여러 객체를 하나의 신경 부피 렌더링된 장면으로 구성하고 포즈를 처리하기 위한 효과적인 전략은 무엇인가?

주요 결과

• NeRF가 연구의 급증과 NeRF 관련 연구의 주석이 달린 참고문헌을 촉발했습니다.
• 초기 연구는 암시적 표면/SDF에서 밀도와 색을 예측하는 단순한 MLP를 활용한 체적 렌더링으로 이동했다.
• 후속 연구는 속도 향상(JaxNeRF, AutoInt), 다이나믹 장면(NeRFlow, D-NeRF, Nerfies), 재조명(NeRV, NeRD, Neural Reflectance Fields, NeRF-W), 그리고 장면 구성(GIRAFFE, Object-Centric Neural Scene Rendering)을 아우른다.
• 연구자들은 3D 인식 합성 및 일반화를 개선하기 위해 형태 잠재 코드와 픽셀 정렬 특징(pixelNeRF, GRAF, pi-GAN)을 탐구했다.
• 이 분야는 성능, 다이내믹, 재조명, 구성 측면에서 모멘텀을 보이고 있지만, 대형 장면으로의 확장성과 표면 중심 표현의 확장성에 대한 의문이 남아 있다.