[논문 리뷰] Neural Fields in Visual Computing and Beyond

Yiheng Xie, Towaki Takikawa외 8명|arXiv (Cornell University)|2021. 11. 22.

Advanced Vision and Imaging참고 문헌 263인용 수 5

한 줄 요약

이 논문은 시각 계산 분야의 신경 필드에 대한 포괄적이고 커뮤니티 기반의 리뷰를 제시하며, 250편 이상의 논문을 종합하여 기법과 응용을 통합한다. 연구는 표현 방식, 조건화, 전방 맵, 아키텍처 등의 신경 필드 구성 요소를 체계화하고 있으며, 3D 복원, 생성 모델링, 로봇공학 등에 이르기까지 지속적인 연구를 위한 살아있는 웹사이트를 도입한다.

ABSTRACT

Recent advances in machine learning have created increasing interest in solving visual computing problems using a class of coordinate-based neural networks that parametrize physical properties of scenes or objects across space and time. These methods, which we call neural fields, have seen successful application in the synthesis of 3D shapes and image, animation of human bodies, 3D reconstruction, and pose estimation. However, due to rapid progress in a short time, many papers exist but a comprehensive review and formulation of the problem has not yet emerged. In this report, we address this limitation by providing context, mathematical grounding, and an extensive review of literature on neural fields. This report covers research along two dimensions. In Part I, we focus on techniques in neural fields by identifying common components of neural field methods, including different representations, architectures, forward mapping, and generalization methods. In Part II, we focus on applications of neural fields to different problems in visual computing, and beyond (e.g., robotics, audio). Our review shows the breadth of topics already covered in visual computing, both historically and in current incarnations, demonstrating the improved quality, flexibility, and capability brought by neural fields methods. Finally, we present a companion website that contributes a living version of this review that can be continually updated by the community.

연구 동기 및 목표

• 신경 필드 시각 계산 분야 및 관련 분야의 급속한 성장하는 연구를 통합하고 체계화하기 위해.
• 표현 방식, 조건화, 전방 맵, 아키텍처, 조작 기법 등을 포함한 신경 필드 기법의 핵심 구성 요소를 식별하고 통합하기 위해.
• 3D 복원, 디지털 인간, 생성 모델링, 로봇공학, 오디오 처리 등 다양한 분야의 응용을 체계적으로 분류하기 위한 분류 체계를 제공하기 위해.
• 연구의 반복과 선택적 기억 상실 문제를 해결하기 위해 지속적으로 업데이트되는 커뮤니티 기반 지식 기반을 구축하기 위해.
• 연구 소통 및 교육 향상을 위해 공통의 수학적 프레임워크와 일관된 용어를 확립하기 위해.

제안 방법

• 신경 필드 분야의 250편 이상의 논문을 체계적으로 조사하여, 방법론적 구성 요소와 응용 분야에 중점을 둔다.
• 공간과 시간에 걸쳐 물리적 양을 연속적이고 좌표 기반의 신경망 파arameterization으로 정의함으로써 신경 필드를 체계화한다.
• 지역적 및 전역적 조건화, 메타학습, 하이브리드 이산-연속 표현 방식 등을 포함한 사전 학습 기법을 분류하고 비교한다.
• 체적 렌더링, 표면 렌더링, 물리 기반 PDE 등 다양한 미분 가능 전방 맵을 식별하고 분석한다.
• 다양한 연구 간의 용어 일관성을 확보하기 위해 일관된 표기법과 어휘 체계를 개발한다.
• 커뮤니티 기반으로 검색 및 필터링 기능을 갖춘 웹사이트를 구축하여 분류 체계를 호스팅하고 신규 연구의 기여 및 분류를 가능하게 한다.

실험 결과

연구 질문

• RQ1 다양한 응용 분야에서 다양한 신경 필드 접근법을 통합하는 데 핵심이 되는 방법론적 구성 요소는 무엇인가?
• RQ2 표현 방식, 조건화, 아키텍처, 전방 맵 측면에서 신경 필드를 체계적으로 분류할 수 있는 방법은 무엇인가?
• RQ3 3D 복원, 디지털 인간, 생성 모델링, 로봇공학 분야에서의 주요 추세와 공통 원칙은 무엇인가?
• RQ4 지속적으로 업데이트되는 커뮤니티 유지 보수 데이터베이스는 빠르게 변화하는 분야에서 연구 반복과 선택적 기억 상실 문제를 어떻게 완화할 수 있는가?
• RQ5 다양한 실체화된 신경 필드를 통합할 수 있는 수학적 및 개념적 프레임워크는 무엇인가?

주요 결과

• 신경 필드는 3D 복원, 새로운 시점 합성, 3D 형상 생성 분야에서 최고 성능를 기록하였으며, 정밀도 향상과 메모리 효율성 향상에 기여하였다.
• 하이브리드 이산-연속 표현 방식과 메타학습 기법은 더 강력하고 일반화된 신경 필드 학습을 가능하게 하였다.
• 신경 렌더링 필드(NeRF) 및 물리 기반 PDE 등 다양한 미분 가능 전방 맵은 복잡한 시각 계산 작업을 위한 엔드 투 엔드 최적화를 가능하게 하였다.
• 커뮤니티 기반 웹사이트를 통해 연구의 실시간 총괄 및 분류가 가능해져 리뷰의 최신성과 접근성 확보에 기여하였다.
• 신경 필드는 이제 시각 계산을 넘어 로봇공학, 의료 영상, 오디오 처리 등 다양한 분야에 성공적으로 적용되어 광범위한 적용 가능성을 입증하였다.
• 통합된 수학적 기반과 일관된 용어 체계는 연구 간 소통 및 분야 신입 연구자들의 초기 적응을 크게 향상시켰다.