[论文解读] Neural Radiance Fields: Past, Present, and Future

A.P. Mittal|arXiv (Cornell University)|Apr 20, 2023

Functional Brain Connectivity Studies被引用 7

一句话总结

本综述提供了神经辐射场（NeRFs）的全面且适合初学者的概述，追溯了其从计算机图形学和机器学习基础概念到最先进进展的演进历程。综述按数据集、损失函数、评估指标和应用对NeRF研究进行了分类，同时强调了傅里叶特征等关键技术，并展望了神经渲染与三维视觉领域的未来研究方向。

ABSTRACT

The various aspects like modeling and interpreting 3D environments and surroundings have enticed humans to progress their research in 3D Computer Vision, Computer Graphics, and Machine Learning. An attempt made by Mildenhall et al in their paper about NeRFs (Neural Radiance Fields) led to a boom in Computer Graphics, Robotics, Computer Vision, and the possible scope of High-Resolution Low Storage Augmented Reality and Virtual Reality-based 3D models have gained traction from res with more than 1000 preprints related to NeRFs published. This paper serves as a bridge for people starting to study these fields by building on the basics of Mathematics, Geometry, Computer Vision, and Computer Graphics to the difficulties encountered in Implicit Representations at the intersection of all these disciplines. This survey provides the history of rendering, Implicit Learning, and NeRFs, the progression of research on NeRFs, and the potential applications and implications of NeRFs in today's world. In doing so, this survey categorizes all the NeRF-related research in terms of the datasets used, objective functions, applications solved, and evaluation criteria for these applications.

研究动机与目标

• 通过整合数学、计算机图形学和计算机视觉领域的基础知识，弥合初学者在进入神经辐射场（NeRFs）领域时的知识鸿沟。
• 基于数据集、目标函数、评估指标和应用领域，对NeRF相关研究进行系统性分类。
• 追溯NeRFs的历史发展脉络，识别关键技术进步，例如利用傅里叶特征实现高频函数建模。
• 基于2020–2023年的趋势，对NeRFs与神经渲染领域的未来研究方向进行前瞻性分析。

提出的方法

• 本文对NeRF模型、扩展与改进技术进行了时间序列的系统性调研，涵盖其诞生至2022年的全过程，重点突出其概念与技术的演进。
• 采用四个维度对NeRF研究进行分类：所用数据集、目标函数（损失函数）、评估指标和应用类型。
• 结合微分几何、信号处理和隐式表示等基础概念，将NeRFs置于更广泛的研究背景中进行语境化阐释。
• 分析傅里叶特征在建模高频辐射场函数中的作用，从而提升渲染质量与泛化能力。
• 利用标准化基准与指标（包括AVI和误差掩码）对多种NeRF变体进行评估与比较。
• 在视图合成评估的误差计算中，对运动光流掩码应用形态学操作（闭运算与腐蚀），以减少鬼影伪影。

Figure 1 : A schematic representation of six degrees of freedom

实验结果

研究问题

• RQ1 从初始提出到当前最先进模型，NeRFs在架构、优化与应用方面经历了怎样的演进？
• RQ2 NeRF研究中主导的数据集、目标函数与评估指标是什么？它们随时间如何演变？
• RQ3 傅里叶特征编码等技术如何提升NeRFs对高频辐射场的建模能力？
• RQ4 基于NeRF的视图合成面临哪些关键挑战？掩码误差计算等方法如何减轻鬼影等伪影？
• RQ5 基于2020–2023年的趋势，NeRFs与神经渲染领域正在涌现哪些新兴研究方向？

主要发现

• 综述识别出超过500篇与NeRFs相关的预印本，表明该领域在计算机视觉、图形学与机器人学中研究活动迅速增长。
• 傅里叶特征编码已成为现代NeRFs的关键组件，显著提升了模型对辐射场中高频细节的表达能力。
• 对运动光流掩码进行形态学处理——即先闭运算后腐蚀——可有效减少视图合成中的鬼影伪影，通过精确排除无对应关系的像素。
• AVI（平均视图插值）得分仅在未掩码像素上计算，最终掩码确保仅有有效对应关系参与误差度量。
• NeRFs已超越视图合成，拓展至三维重建、姿态估计、超分辨率、视线重定向与医学影像等应用。
• 本综述建立了NeRF研究的系统化分类体系，使研究人员能够基于数据集、目标函数与评估标准，系统性地导航文献。

Figure 2 : A schematic representation of an application of a texture in the UV space related to effect in 3D space