[论文解读] BeyondPixels: A Comprehensive Review of the Evolution of Neural Radiance Fields

AKM Shahariar Azad Rabby, Chengcui Zhang|arXiv (Cornell University)|Jun 5, 2023

3D Surveying and Cultural Heritage被引用 11

一句话总结

本综述整合了近年来的 NeRF 文献，将进展按架构和可扩展性分类，并总结提高质量、效率以及大规模场景处理的技术。

ABSTRACT

Neural rendering combines ideas from classical computer graphics and machine learning to synthesize images from real-world observations. NeRF, short for Neural Radiance Fields, is a recent innovation that uses AI algorithms to create 3D objects from 2D images. By leveraging an interpolation approach, NeRF can produce new 3D reconstructed views of complicated scenes. Rather than directly restoring the whole 3D scene geometry, NeRF generates a volumetric representation called a ``radiance field,'' which is capable of creating color and density for every point within the relevant 3D space. The broad appeal and notoriety of NeRF make it imperative to examine the existing research on the topic comprehensively. While previous surveys on 3D rendering have primarily focused on traditional computer vision-based or deep learning-based approaches, only a handful of them discuss the potential of NeRF. However, such surveys have predominantly focused on NeRF's early contributions and have not explored its full potential. NeRF is a relatively new technique continuously being investigated for its capabilities and limitations. This survey reviews recent advances in NeRF and categorizes them according to their architectural designs, especially in the field of novel view synthesis.

研究动机与目标

• 在新视图合成与神经渲染领域激发兴趣并综述基于 NeRF 的研究。
• 按架构设计及对原始框架的扩展对 NeRF 文献进行分类。
• 突出质量、编辑和可扩展性方面的优点、局限性与实际挑战。
• 提出一个新的分类方案，以指导面向克服关键挑战的未来 NeRF 研究。

提出的方法

• 将 NeRF 的基础原理解释为将 5D 坐标输入到输出密度和辐射度的 MLP。
• 回顾通过锥追踪和多尺度表示（如 Mip-NeRF）来解决采样与混叠问题的改进。
• 总结点基、体素基和融合方法（如 Point-NeRF、NeRFusion）在效率和大尺度场景中的应用。
• 描述可扩展的 NeRF 变体（FastNeRF、KiloNeRF、Block-NeRF、Mega-NeRF）及其训练/推理优化。
• 讨论变形与可编辑性扩展（DRF-Cages、动态 NeRF）及其局限性。

实验结果

研究问题

• RQ1 自最初提出以来，推动 NeRF 改进的关键架构类别和扩展有哪些？
• RQ2 质量、混叠与采样挑战如何影响 NeRF 的性能，以及哪些技术能够缓解这些问题？
• RQ3 哪些策略使 NeRF 能扩展到大规模场景并实现实时或近实时渲染？
• RQ4 在 NeRF 框架内，动态/关节对象表示与场景编辑目前存在哪些局限性？
• RQ5 未来的 NeRF 研究应如何组织以解决核心瓶颈和应用问题？

主要发现

• Mip-NeRF 通过基于锥的表示和集成位置编码减少混叠并提高准确性。
• Point-NeRF 引入基于点的表示并进行剪枝/扩展以提高效率。
• NeRFusion 通过用 GRUs 和稀疏 3D CNNs 将局部辐射场融合，实现全球场景重建。
• FastNeRF 通过双网络分解和缓存将渲染加速到约 200 FPS，大幅降低内存使用。
• KiloNeRF 与 Block/Mega-NeRF 通过分块、缓存和分层采样来解决可扩展性和大尺度场景处理。
• 动态/关节对象的 NeRF 方法（如 DeVRF、基于笼的变形）将 NeRF 扩展到非静态场景，尽管仍存在伪影和局限性。