[论文解读] Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields

Jonathan T. Barron, Ben Mildenhall+4 more|arXiv (Cornell University)|Mar 24, 2021

Advanced Neuroimaging Techniques and Applications被引用 12

一句话总结

Mip-NeRF 引入了一种多尺度神经辐射场表示方法，通过用圆锥棱台替代单射线采样，减少了 NeRF 渲染中的混叠和模糊。通过使用集成位置编码（IPE）对三维高斯区域进行特征提取，其在多尺度基准测试中误差降低 60%，推理速度提升 7%，模型大小减半，相比 NeRF。

ABSTRACT

The rendering procedure used by neural radiance fields (NeRF) samples a scene with a single ray per pixel and may therefore produce renderings that are excessively blurred or aliased when training or testing images observe scene content at different resolutions. The straightforward solution of supersampling by rendering with multiple rays per pixel is impractical for NeRF, because rendering each ray requires querying a multilayer perceptron hundreds of times. Our solution, which we call "mip-NeRF" (a la "mipmap"), extends NeRF to represent the scene at a continuously-valued scale. By efficiently rendering anti-aliased conical frustums instead of rays, mip-NeRF reduces objectionable aliasing artifacts and significantly improves NeRF's ability to represent fine details, while also being 7% faster than NeRF and half the size. Compared to NeRF, mip-NeRF reduces average error rates by 17% on the dataset presented with NeRF and by 60% on a challenging multiscale variant of that dataset that we present. Mip-NeRF is also able to match the accuracy of a brute-force supersampled NeRF on our multiscale dataset while being 22x faster.

研究动机与目标

• 解决在不同观察距离下 NeRF 渲染中出现的混叠和模糊问题。
• 通过在多尺度上预滤波，克服 NeRF 中暴力超采样计算不可行的问题。
• 开发一种连续的、具备尺度感知能力的表示方法，实现在不增加推理成本的前提下高效抗混叠渲染。
• 在多尺度和具有挑战性的视图合成基准测试中，提升精度的同时减小模型大小和推理时间。
• 通过尺度感知特征表示，将 NeRF 中独立的粗略和精细 MLP 合并为单一更高效的 MLP。

提出的方法

• 用代表像素在场景中三维轮廓的圆锥棱台，替代 NeRF 中的单射线采样。
• 使用三维高斯近似圆锥棱台，并通过闭式解在其上进行积分。
• 提出一种集成位置编码（IPE），对三维区域（高斯）而非单一点进行特征提取，从而推广 NeRF 的位置编码。
• 计算位置编码在高斯区域上的期望值，以实现可微分、高效的预滤波辐射场渲染。
• 通过利用尺度感知能力，将 NeRF 的粗略和精细 MLP 合并为单一 MLP，降低模型复杂度。
• 使用多尺度表示进行训练和渲染，实现在不进行超采样的情况下，跨不同视图分辨率的精确渲染。

实验结果

研究问题

• RQ1 连续的多尺度表示能否在不同观察距离下减少 NeRF 渲染中的混叠和模糊？
• RQ2 预滤波的、具备尺度感知能力的神经辐射场能否在不增加推理成本的前提下高效计算和渲染？
• RQ3 将单点位置编码替换为集成区域编码，能否提升渲染质量与泛化能力？
• RQ4 能否在减小模型大小和推理时间的同时，显著提升 NeRF 在多尺度数据集上的性能？
• RQ5 能否通过利用具备尺度感知能力的特征表示，消除 NeRF 中对独立粗略和精细 MLP 的依赖？

主要发现

• 在原始 NeRF 基准测试中，Mip-NeRF 将平均误差降低 17%；在具有挑战性的多尺度数据集变体中，误差降低 60%。
• 在多尺度数据集上，Mip-NeRF 的精度与暴力超采样 NeRF 相当，但速度提升 22 倍。
• Mip-NeRF 比标准 NeRF 快 7%，且参数量减半，这是由于粗略和精细 MLP 的合并。
• 集成位置编码（IPE）对性能至关重要，消融实验显示，无 IPE 时 LPIPS 平均增加 0.004，SSIM 平均降低 0.003。
• Mip-NeRF 在 Blender 数据集上达到最先进水平，SSIM 分数为 0.981（椅子）至 0.991（船），优于 NeRF 和其他 SOTA 方法。
• 即使提前停止训练，Mip-NeRF 仍保持优异性能，表明其具备鲁棒性并能更快收敛。