[论文解读] Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes

Zehao Yu, Torsten Sattler+1 more|arXiv (Cornell University)|Apr 16, 2024

Computer Graphics and Visualization Techniques被引用 7

一句话总结

GOF 从 3D 高斯派生高斯不透明度场，以实现通过等值面直接提取曲面，在无限场景中实现高质量、紧凑网格和快速重建，优于多数基于 3DGS 的方法，且与神经隐式方法相抗衡。

ABSTRACT

Recently, 3D Gaussian Splatting (3DGS) has demonstrated impressive novel view synthesis results, while allowing the rendering of high-resolution images in real-time. However, leveraging 3D Gaussians for surface reconstruction poses significant challenges due to the explicit and disconnected nature of 3D Gaussians. In this work, we present Gaussian Opacity Fields (GOF), a novel approach for efficient, high-quality, and adaptive surface reconstruction in unbounded scenes. Our GOF is derived from ray-tracing-based volume rendering of 3D Gaussians, enabling direct geometry extraction from 3D Gaussians by identifying its levelset, without resorting to Poisson reconstruction or TSDF fusion as in previous work. We approximate the surface normal of Gaussians as the normal of the ray-Gaussian intersection plane, enabling the application of regularization that significantly enhances geometry. Furthermore, we develop an efficient geometry extraction method utilizing Marching Tetrahedra, where the tetrahedral grids are induced from 3D Gaussians and thus adapt to the scene's complexity. Our evaluations reveal that GOF surpasses existing 3DGS-based methods in surface reconstruction and novel view synthesis. Further, it compares favorably to or even outperforms, neural implicit methods in both quality and speed.

研究动机与目标

• 激发在无限场景中利用多视图图像实现高效、高质量的表面重建。
• 引入高斯不透明度场，直接从 3D 高斯中提取表面，而无需 Poisson 重建或 TSDF 融合。
• 引入正则化技术以提高几何保真的度。
• 开发自适应的四面体网格提取方法，以生成紧凑网格。
• 展示 GOF 在具有挑战性数据集上相对于基于 3DGS 的方法和神经隐式方法的性能。

提出的方法

• 将场景表示为一组具有不透明度、中心、尺度和旋转的 3D 高斯原语。
• 计算显式射线-高斯相交，在每条射线获得一个一维高斯用于体积渲染。
• 对于每个 3D 点，通过取所有训练视图上的射线不透明度的最小值来定义高斯不透明度场。
• 用射线-高斯相交平面的法线来近似高斯表面法线，以实现正则化。
• 在训练过程中通过深度畸变和深度-法线一致性损失进行正则化。
• 使用从高斯周围 3-sigma 边界框生成的四面体网格提取曲面，随后进行四面体遍历并通过基于二分查找的 level-set 识别进行 level-set。

实验结果

研究问题

• RQ1 Gaussian Opacity Fields（GOF）是否能够在不进行 Poisson 重建或 TSDF 融合的情况下，直接、可靠地从 3D 高斯中提取曲面？
• RQ2 如何将正则化从 2D 高斯散乱迁移到 3D 高斯以提高几何保真度？
• RQ3 基于四面体的网格提取方法是否在保持快速优化的同时，提供紧凑、细致的网格，适用于无限场景？
• RQ4 在标准数据集上，与基于 3DGS 的方法和神经隐式模型相比，GOF 在表面重建和新视图合成方面的表现如何？

主要发现

• GOF 通过识别高斯不透明度场的等值面实现直接曲面提取，避免 Poisson/TSDF 融合。
• 将 GOF 与最先进方法对比时，在质量上超过基于 3DGS 的曲面重建，并且在质量上与神经隐式方法相当或更优，同时提供更快的优化。
• 使用四面体网格提取和二分查找 level set 得到紧凑、细致的网格，包括背景区域，在无限场景上优于基于 TSDF 的网格提取。
• 通过射线–高斯相交平面实现的法线正则化提高几何保真度，且解耦的外观建模在复杂光照下提升重建性能。
• GOF 在 NVS 上表现强劲，定量结果显示户外场景下 PSNR/SSIM 具有竞争力，LPIPS 有所提升，相比 3DGS 基于方法。