[论文解读] Multi-Scale 3D Gaussian Splatting for Anti-Aliased Rendering

Zhiwen Yan, Weng Fei Low+2 more|arXiv (Cornell University)|Nov 28, 2023

Advanced Vision and Imaging被引用 4

一句话总结

本文提出多尺度3D高斯点阵渲染，以解决在低分辨率或远距离视角渲染时的混叠效应和渲染速度下降问题。通过在多个尺度上保持高斯分布，并选择性地渲染适当细节层次，该方法在Mip-NeRF360上实现4×–128×分辨率下13%–66%的PSNR增益和160%–2400%的加速，额外高斯点数不足5%，且训练时间相近。

ABSTRACT

3D Gaussians have recently emerged as a highly efficient representation for 3D reconstruction and rendering. Despite its high rendering quality and speed at high resolutions, they both deteriorate drastically when rendered at lower resolutions or from far away camera position. During low resolution or far away rendering, the pixel size of the image can fall below the Nyquist frequency compared to the screen size of each splatted 3D Gaussian and leads to aliasing effect. The rendering is also drastically slowed down by the sequential alpha blending of more splatted Gaussians per pixel. To address these issues, we propose a multi-scale 3D Gaussian splatting algorithm, which maintains Gaussians at different scales to represent the same scene. Higher-resolution images are rendered with more small Gaussians, and lower-resolution images are rendered with fewer larger Gaussians. With similar training time, our algorithm can achieve 13\%-66\% PSNR and 160\%-2400\% rendering speed improvement at 4$ imes$-128$ imes$ scale rendering on Mip-NeRF360 dataset compared to the single scale 3D Gaussian splitting. Our code and more results are available on our project website https://jokeryan.github.io/projects/ms-gs/

研究动机与目标

• 解决在低分辨率或远距离相机位置下3D高斯点阵渲染中严重的混叠效应和性能下降问题。
• 克服单尺度高斯分布的局限性，其因欠采样导致混叠，且在低分辨率下因过度alpha混合而渲染缓慢。
• 在不显著增加训练时间或显存占用的前提下，实现在多个分辨率尺度下的高效、高质量渲染。
• 在1×分辨率下保持高保真渲染质量，同时在更低分辨率下大幅提升性能与质量。
• 引入一种受计算机图形学中mipmap和LOD技术启发的可扩展、选择性渲染策略。

提出的方法

• 在训练期间通过聚合更精细的高斯点至更粗略的高斯点，预先计算并存储多个尺度的高斯点。
• 使用大小阈值机制识别体素中的小高斯点，并将其合并为更大、更粗略的高斯点，以用于低分辨率渲染。
• 在渲染过程中，根据像素覆盖范围动态选择高斯点：高分辨率输出时使用更精细的高斯点，低分辨率输出时使用更粗略的高斯点。
• 通过仅激活屏幕空间尺寸与当前分辨率像素覆盖范围匹配的高斯点，实现选择性渲染。
• 在现有3D高斯点阵渲染流程基础上进行最小修改，仅增加数百至数千个额外高斯点。
• 通过复用单尺度3D高斯点阵渲染的相同优化循环和数据管道，保持一致的训练时间。

实验结果

研究问题

• RQ1 与单尺度3D高斯点阵渲染相比，多尺度3D高斯点阵是否能有效减少低分辨率和远距离视角渲染中的混叠伪影？
• RQ2 使用尺度自适应高斯点的选择性渲染是否能在不损失图像质量的前提下提升低分辨率下的渲染速度？
• RQ3 在仅增加极少参数和训练成本的前提下，性能提升的幅度有多大？
• RQ4 在PSNR、LPIPS和渲染时间方面，该方法在不同数据集和分辨率级别（如4×至128×）下的可扩展性如何？
• RQ5 该方法是否能在1×分辨率下保持高保真渲染质量，同时显著提升低分辨率下的性能？

主要发现

• 在Mip-NeRF360数据集上，与单尺度3D高斯点阵渲染相比，该方法在4×至128×分辨率下实现了13%–66%的PSNR增益。
• 在128×分辨率下，渲染速度提升160%–2400%，尤其在几何复杂度较高的场景中增益最大。
• 在1×分辨率下，PSNR和LPIPS与原方法相当，证实高分辨率质量未下降。
• 额外高斯点数量不足原始集合的5%，且训练时间无显著增加。
• 通过减少小高斯点在低分辨率像素中的过度点阵化，有效缓解了混叠效应。
• 在Tank and Temple和Deep Blending数据集上，该方法在所有测试尺度下均一致提升了PSNR并减少了渲染时间。