[论文解读] Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields

Jonathan T. Barron, Ben Mildenhall+3 more|arXiv (Cornell University)|Nov 23, 2021

Advanced Vision and Imaging被引用 5

一句话总结

Mip-NeRF 360 通过引入非线性场景参数化、基于提议的蒸馏框架以及基于失真的正则化器，将 mip-NeRF 扩展至无限远的 360° 场景，实现了均方误差降低 57%，并实现了复杂真实世界场景的高保真度视角合成与细节丰富的深度图。

ABSTRACT

Though neural radiance fields (NeRF) have demonstrated impressive view synthesis results on objects and small bounded regions of space, they struggle on "unbounded" scenes, where the camera may point in any direction and content may exist at any distance. In this setting, existing NeRF-like models often produce blurry or low-resolution renderings (due to the unbalanced detail and scale of nearby and distant objects), are slow to train, and may exhibit artifacts due to the inherent ambiguity of the task of reconstructing a large scene from a small set of images. We present an extension of mip-NeRF (a NeRF variant that addresses sampling and aliasing) that uses a non-linear scene parameterization, online distillation, and a novel distortion-based regularizer to overcome the challenges presented by unbounded scenes. Our model, which we dub "mip-NeRF 360" as we target scenes in which the camera rotates 360 degrees around a point, reduces mean-squared error by 57% compared to mip-NeRF, and is able to produce realistic synthesized views and detailed depth maps for highly intricate, unbounded real-world scenes.

研究动机与目标

• 解决 NeRF 和 mip-NeRF 在相机可朝任意方向、内容存在于任意距离的无限远场景中的局限性。
• 克服从稀疏视角重建大规模复杂场景时固有的参数化、训练效率和场景模糊性挑战。
• 在无需外部训练数据或代理几何信息的情况下，实现复杂真实世界 360° 场景的逼真新视角合成与详细深度估计。
• 通过引入双分支 MLP 架构、在线蒸馏和新颖的正则化策略，减少训练时间并提升渲染质量。

提出的方法

• 提出一种非线性场景参数化方法，利用类似卡尔曼滤波的压缩函数将 3D 坐标映射到有界空间，为近处内容分配更多容量，远处内容则分配更少容量。
• 采用双分支 MLP 架构：轻量级提议 MLP 预测采样权重，高容量 NeRF MLP 利用这些优化后的采样区间生成最终图像。
• 通过在线蒸馏方法，使用 NeRF MLP 的直方图权重监督提议 MLP，实现在无直接图像监督情况下的有效粗到精采样。
• 引入一种针对 mip-NeRF 的圆锥体采样方式量身定制的失真正则化器（$\mathcal{L}_{\mathrm{dist}}$），以减少如浮动物体等几何伪影。
• 使用带有多尺度频率的位置编码（IPE），在保持与 mip-NeRF 框架兼容的同时提升模型的表示能力。
• 应用压缩函数以有界方式约束场景，同时在所有视角方向上保持几何一致性，避免对额外外部几何或训练数据的依赖。

实验结果

研究问题

• RQ1 如何将基于 NeRF 的模型扩展以处理具有任意相机朝向和任意距离内容的无限远 360° 场景？
• RQ2 何种参数化策略能最佳地在无限远场景中按不同深度分配模型容量，以提升渲染质量并减少混叠现象？
• RQ3 基于提议的蒸馏框架是否能在不依赖外部监督的情况下提升无限远场景中的训练效率与渲染保真度？
• RQ4 为圆锥体采样量身定制的失真正则化器如何减少无限远场景渲染中的几何伪影？
• RQ5 在仅使用轻量级提议网络和在线蒸馏的情况下，单个高容量 NeRF MLP 能在多大程度上实现高效训练？

主要发现

• 与 mip-NeRF 相比，Mip-NeRF 360 在无限远 360° 场景中将均方误差降低了 57%，显著提升了重建精度。
• 在自行车场景中，模型实现了 24.37 的 PSNR 和 0.687 的 SSIM，其图像质量与深度图细节均优于消融实验变体和先前方法。
• 移除失真正则化器（$\mathcal{L}_{\mathrm{dist}}$）会导致可见的