[论文解读] AdaNeRF: Adaptive Sampling for Real-time Rendering of Neural Radiance Fields

Andreas Kurz, Thomas Neff+3 more|arXiv (Cornell University)|Jul 21, 2022

Advanced Vision and Imaging被引用 8

一句话总结

AdaNeRF 提出了一种紧凑的、端到端可训练的双路网络架构，通过采样网络自适应地减少神经辐射场中每条光线的采样数量，仅对最重要的采样点进行评估。该方法在消费级 GPU 上实现了 26 FPS 的实时渲染，相比以往基于采样的方法，在图像质量和效率方面均有显著提升。

ABSTRACT

Novel view synthesis has recently been revolutionized by learning neural radiance fields directly from sparse observations. However, rendering images with this new paradigm is slow due to the fact that an accurate quadrature of the volume rendering equation requires a large number of samples for each ray. Previous work has mainly focused on speeding up the network evaluations that are associated with each sample point, e.g., via caching of radiance values into explicit spatial data structures, but this comes at the expense of model compactness. In this paper, we propose a novel dual-network architecture that takes an orthogonal direction by learning how to best reduce the number of required sample points. To this end, we split our network into a sampling and shading network that are jointly trained. Our training scheme employs fixed sample positions along each ray, and incrementally introduces sparsity throughout training to achieve high quality even at low sample counts. After fine-tuning with the target number of samples, the resulting compact neural representation can be rendered in real-time. Our experiments demonstrate that our approach outperforms concurrent compact neural representations in terms of quality and frame rate and performs on par with highly efficient hybrid representations. Code and supplementary material is available at https://thomasneff.github.io/adanerf.

研究动机与目标

• 为解决神经辐射场渲染中因需要大量每条光线采样以实现精确体渲染而导致的高计算成本问题。
• 消除基于采样方法的 NeRF 在采样过程中对预处理、预训练或复杂输入参数化的依赖。
• 在保持高图像质量的同时，实现具有紧凑内存占用的实时渲染。
• 通过使用多个 AdaNeRF 模型，实现对大规模或无界场景的可扩展、流式兼容渲染。

提出的方法

• 该方法采用双路网络架构：单次评估的采样网络与多次评估的着色网络。
• 在每条射线上使用固定且离散的采样位置，以支持稳定训练和软师生蒸馏正则化。
• 采样网络为每条射线预测一个密度向量 δ，经阈值处理后剔除低贡献采样点。
• 仅对剩余采样点由着色网络进行评估，预测 σ（密度）和 RGB 颜色。
• 最终 RGB 输出通过将着色网络的 σ 与采样网络的 δ 相乘计算得出，从而实现对两套网络的梯度传播。
• 采用四阶段训练策略逐步施加稀疏性，随后在目标采样数量下进行微调，以实现实时性能。

实验结果

研究问题

• RQ1 一种紧凑的、端到端可训练的双路网络架构是否能显著减少每条光线所需的采样数量，同时不牺牲图像质量？
• RQ2 基于可学习采样网络的自适应采样策略，在渲染效率和质量方面，相较于固定或预计算的采样策略表现如何？
• RQ3 该系统是否能在保持小内存占用的前提下，实现在消费级硬件上的实时推理？
• RQ4 多个 AdaNeRF 模型是否能在重叠区域有效融合，以实现对大规模或无界场景的可扩展渲染？

主要发现

• AdaNeRF 在 1008×756 分辨率下仅使用每条光线 2 个采样点，即可实现 26 FPS 的推理速度，相比 NeRF 最快提升达 74 倍。
• 在相同采样数量下，AdaNeRF 的渲染速度相比 DONeRF 最快提升 5 倍，TermiNeRF* 最快提升 6 倍，AutoInt 最快提升 7 倍。
• AdaNeRF 在相同画质水平下，推理速度相比 Instant-NGP 最快提升 2 倍。
• 输入处理和自适应采样带来的帧时间开销已降至总帧时间的 3% 以下，大部分时间仍用于着色网络推理。
• 通过在重叠区域融合多个 AdaNeRF 模型，该模型实现了大规模场景的可扩展渲染，支持流式使用场景。
• 四阶段训练策略结合稀疏性正则化，成功防止了网络坍塌，即使在极低采样数量下也能获得高质量结果。