[论文解读] Mip-Splatting: Alias-free 3D Gaussian Splatting

Zehao Yu, Anpei Chen+3 more|arXiv (Cornell University)|Nov 27, 2023

Advanced Vision and Imaging被引用 5

一句话总结

Mip-Splatting 通过引入 3D 平滑滤波器和 2D Mip 滤波器，消除了在改变相机采样率时 3D 高斯点阵（3DGS）中的混叠和膨胀伪影。通过基于奈奎斯特极限约束 3D 高斯频率，并以模拟盒滤波器的 Mip 滤波器替代 2D 膨胀滤波器，该方法在缩放进和缩放出场景中均实现了无混叠渲染，仅需极少代码修改即可实现最先进性能。

ABSTRACT

Recently, 3D Gaussian Splatting has demonstrated impressive novel view synthesis results, reaching high fidelity and efficiency. However, strong artifacts can be observed when changing the sampling rate, \eg, by changing focal length or camera distance. We find that the source for this phenomenon can be attributed to the lack of 3D frequency constraints and the usage of a 2D dilation filter. To address this problem, we introduce a 3D smoothing filter which constrains the size of the 3D Gaussian primitives based on the maximal sampling frequency induced by the input views, eliminating high-frequency artifacts when zooming in. Moreover, replacing 2D dilation with a 2D Mip filter, which simulates a 2D box filter, effectively mitigates aliasing and dilation issues. Our evaluation, including scenarios such a training on single-scale images and testing on multiple scales, validates the effectiveness of our approach.

研究动机与目标

• 解决在改变相机焦距或距离时 3D 高斯点阵中严重的渲染伪影，特别是混叠和膨胀效应。
• 解决 3DGS 中固有的收缩偏差和频率溢出问题，这些问题是缩放进时高频伪影的根源。
• 通过单尺度训练实现分布外泛化，同时在多个尺度上实现精确渲染。
• 以模拟物理成像过程盒滤波器的 Mip 滤波器替代 2D 膨胀滤波器，减少混叠伪影。

提出的方法

• 引入一种 3D 平滑滤波器，基于奈奎斯特-香农采样定理，根据输入视图的采样率对 3D 高斯基元的最大频率进行正则化。
• 在优化过程中对 3D 空间应用低通滤波器，以限制高频分量，确保 3D 表示保持在采样极限内。
• 以近似 2D 盒滤波器的 2D Mip 滤波器替代 2D 膨胀滤波器，有效缓解混叠和膨胀伪影。
• 采用闭式方法对 3DGS 管道进行修改，仅需少量代码更改，同时保持与标准 GPU 光栅化兼容。
• 确保 3D 平滑滤波器在训练后成为场景表示的固有部分，与视角或采样率无关。
• 利用 Mip 滤波器的多尺度特性，实现在与训练分辨率不同的分辨率下的忠实渲染，包括缩放进和缩放出场景。

实验结果

研究问题

• RQ1 3D 频率约束是否能消除在缩放进时 3D 高斯点阵中的高频伪影？
• RQ2 用 Mip 滤波器替代 2D 膨胀滤波器是否能减少缩放出时的混叠和膨胀伪影？
• RQ3 单尺度训练设置是否能实现多采样率下的高质量渲染且无性能下降？
• RQ4 与 Mip-NeRF 和 Tri-MipRF 等最先进方法相比，该方法在分布外泛化方面表现如何？
• RQ5 3D 平滑滤波器在多大程度上防止了导致内存溢出的过小高斯分布的生成？

主要发现

• Mip-Splatting 在缩放进场景中消除了高频伪影，如在 Blender 数据集上 8 倍更高分辨率渲染中实现近乎完美的重建。
• 在 Mip-NeRF 360 数据集上，Mip-Splatting 在同尺度训练中性能与 3DGS 和 3DGS + EWA 相当，而在多尺度测试中显著优于二者。
• 在单尺度训练与多尺度测试设置下，Mip-Splatting 在 1/4× 和 1/8× 下采样分辨率下仍保持高保真度，优于 3DGS 和 3DGS + EWA。
• 该方法在无需多尺度训练数据的情况下实现了跨尺度的无混叠渲染，而 Mip-NeRF 和 Tri-MipRF 则依赖训练期间的多尺度输入。
• 3D 平滑与 Mip 滤波的结合有效防止了因过多过小高斯分布导致的内存溢出，使 A100 GPU 上高密度场景的训练保持稳定。
• 定性结果表明，Mip-Splatting 的渲染结果在缩放进场景中与真实值高度接近，而 3DGS + EWA 显示出明显的高频伪影。