[논문 리뷰] Neural Radiance Fields: Past, Present, and Future

A.P. Mittal|arXiv (Cornell University)|2023. 04. 20.

Functional Brain Connectivity Studies인용 수 7

한 줄 요약

이 종합적 서베이는 신경 렌디언스 필드(NeRFs)의 기초 개념에서 시작해 컴퓨터 그래픽스 및 머신러닝 분야의 발전을 거쳐 현재의 최첨단 기술까지의 발전 과정을 종합적으로 소개한다. 연구를 데이터셋, 손실 함수, 평가 지표, 응용 분야 기준으로 분류하며, 푸리에 특징과 같은 핵심 기법과 신경 렌더링 및 3D 비전 분야의 향후 연구 방향을 강조한다.

ABSTRACT

The various aspects like modeling and interpreting 3D environments and surroundings have enticed humans to progress their research in 3D Computer Vision, Computer Graphics, and Machine Learning. An attempt made by Mildenhall et al in their paper about NeRFs (Neural Radiance Fields) led to a boom in Computer Graphics, Robotics, Computer Vision, and the possible scope of High-Resolution Low Storage Augmented Reality and Virtual Reality-based 3D models have gained traction from res with more than 1000 preprints related to NeRFs published. This paper serves as a bridge for people starting to study these fields by building on the basics of Mathematics, Geometry, Computer Vision, and Computer Graphics to the difficulties encountered in Implicit Representations at the intersection of all these disciplines. This survey provides the history of rendering, Implicit Learning, and NeRFs, the progression of research on NeRFs, and the potential applications and implications of NeRFs in today's world. In doing so, this survey categorizes all the NeRF-related research in terms of the datasets used, objective functions, applications solved, and evaluation criteria for these applications.

연구 동기 및 목표

• 수학, 컴퓨터 그래픽스, 컴퓨터 비전 분야의 기초 지식을 통합하여 NeRFs 분야에 입문하는 초보자들이 지식 격차를 메울 수 있도록 돕는 것.
• 데이터셋, 목적 함수, 평가 지표, 응용 분야 기준으로 NeRF 관련 연구를 체계적으로 분류하는 것.
• NeRFs의 역사를 추적하고, 푸리에 특징을 통한 고주파 함수 모델링과 같은 핵심 기술적 진전을 식별하는 것.
• 2020–2023년의 추세를 바탕으로 NeRFs 및 신경 렌더링 분야의 향후 연구 방향을 전망적으로 분석하는 것.

제안 방법

• 논문은 2022년까지 NeRF 모델, 확장 기법, 향상 기술의 연대기적 서베이를 수행하며 개념적·기술적 진화를 강조한다.
• 연구를 네 가지 차원으로 분류: 사용된 데이터셋, 목적 함수(손실 함수), 평가 지표, 응용 유형.
• 미분기하학, 신호 처리, 암묵적 표현 기반의 기초 개념을 통합하여 NeRFs가 보다 넓은 연구 분야 내에서 어떻게 위치되는지 맥락화한다.
• 고주파 렌디언스 함수 모델링을 위해 푸리에 특징의 역할을 분석하며, 더 나은 렌더링 품질과 일반화 능력을 가능하게 한다.
• AVI(Average View Interpolation) 및 오차 마스크 등을 포함한 표준 기준 기준으로 다양한 NeRF 변종을 평가하고 비교한다.
• 뷰 합성 평가 시 오차 계산 과정에서 가시성 오류를 줄이기 위해 운동 흐름 마스크에 형태학적 연산(닫기 및 침식)을 적용한다.

Figure 1 : A schematic representation of six degrees of freedom

실험 결과

연구 질문

• RQ1 NeRFs는 아키텍처, 최적화, 응용 측면에서 초창기 모델에서 현재 최첨단 모델로 어떻게 진화해왔는가?
• RQ2 NeRF 연구에서 지배적인 데이터셋, 목적 함수, 평가 지표는 무엇이며, 시간이 지남에 따라 어떻게 변화해왔는가?
• RQ3 푸리에 특징 인코딩 같은 기법이 NeRFs에서 고주파 렌디언스 필드를 어떻게 향상시키는가?
• RQ4 NeRF 기반 뷰 합성에서 주요 과제는 무엇이며, 마스크된 오차 계산과 같은 방법은 가시성 잔상과 같은 잡음 문제를 어떻게 완화하는가?
• RQ5 2020–2023년의 추세를 바탕으로 NeRFs 및 신경 렌더링 분야에서 새로운 향후 연구 방향은 무엇인가?

주요 결과

• 서베이는 NeRFs와 관련된 500개 이상의 프리프린트를 식별하여 컴퓨터 비전, 그래픽스, 로보틱스 분야에서 연구 활동이 급격히 증가하고 있음을 보여준다.
• 푸리에 특징 인코딩은 현대 NeRFs의 핵심 구성 요소로 자리 잡았으며, 렌디언스 필드 내 고주파 세부 정보를 표현하는 능력을 크게 향상시켰다.
• 운동 흐름 마스크에 대한 형태학적 처리—특히 닫기 연산 이후 침식 연산을 적용함으로써, 대응 관계가 없는 픽셀을 정확히 제외함으로써 뷰 합성에서의 가시성 잔상 잡음을 감소시켰다.
• AVI(Average View Interpolation) 점수는 마스크되지 않은 픽셀에 대해서만 계산되며, 최종 마스크는 오직 유효한 대응 관계만 오차 지표에 기여하도록 보장한다.
• NeRFs는 뷰 합성 외에도 3D 재구성, 자세 추정, 슈퍼레졸루션, 시선 이동, 의료 영상 분야 등 다양한 응용으로 확장되었다.
• 연구자는 데이터셋, 목적 함수, 평가 기준 기준으로 NeRF 연구에 대한 체계적인 분류 체계를 수립하여 연구자들이 문헌을 체계적으로 탐색할 수 있도록 했다.

Figure 2 : A schematic representation of an application of a texture in the UV space related to effect in 3D space