[论文解读] GS2Mesh: Surface Reconstruction from Gaussian Splatting via Novel Stereo Views

Yaniv Wolf, Amit Bracha+1 more|arXiv (Cornell University)|Apr 2, 2024

3D Surveying and Cultural HeritageEarth and Planetary Sciences被引用 3

一句话总结

本文提出 GS2Mesh，一种从 3D 高斯点云（3DGS）模型进行表面重建的新方法，该方法利用校准后的立体新视角合成生成高精度 RGB-D 数据，再通过 TSDF 融合生成几何一致的网格。该方法在智能手机拍摄场景下仅增加不到 5 分钟的计算时间，便实现了最先进的重建质量，在准确性和效率上均优于先前方法。

ABSTRACT

Recently, 3D Gaussian Splatting (3DGS) has emerged as an efficient approach for accurately representing scenes. However, despite its superior novel view synthesis capabilities, extracting the geometry of the scene directly from the Gaussian properties remains a challenge, as those are optimized based on a photometric loss. While some concurrent models have tried adding geometric constraints during the Gaussian optimization process, they still produce noisy, unrealistic surfaces. We propose a novel approach for bridging the gap between the noisy 3DGS representation and the smooth 3D mesh representation, by injecting real-world knowledge into the depth extraction process. Instead of extracting the geometry of the scene directly from the Gaussian properties, we instead extract the geometry through a pre-trained stereo-matching model. We render stereo-aligned pairs of images corresponding to the original training poses, feed the pairs into a stereo model to get a depth profile, and finally fuse all of the profiles together to get a single mesh. The resulting reconstruction is smoother, more accurate and shows more intricate details compared to other methods for surface reconstruction from Gaussian Splatting, while only requiring a small overhead on top of the fairly short 3DGS optimization process. We performed extensive testing of the proposed method on in-the-wild scenes, obtained using a smartphone, showcasing its superior reconstruction abilities. Additionally, we tested the method on the Tanks and Temples and DTU benchmarks, achieving state-of-the-art results.

研究动机与目标

• 为解决由于高斯元素位置未对齐表面而导致的 3D 高斯点云（3DGS）模型表面重建几何不一致与噪声问题。
• 通过利用 3DGS 强大的新视角合成能力，而非依赖高斯中心点，以提升重建精度与细节保真度。
• 相比现有方法，显著降低表面重建的计算时间，尤其适用于消费级设备拍摄的野外场景。
• 通过结合深度图与基于 SAM 的分割，实现准确、半自动的特定物体网格重建。
• 在 Tanks and Temples 与 Mip-NeRF360 等基准数据集上超越当前最先进方法 SuGaR。

提出的方法

• 该方法首先使用 3DGS 捕获场景，通过优化高斯元素以实现逼真的新视角渲染。
• 随后，利用精心选择的虚拟相机位姿，从 3DGS 模型生成校准后的立体新视角。
• 对每对立体图像应用深度立体匹配模型，提取高质量深度图，形成 RGB-D 数据。
• 将多视角的 RGB-D 数据通过截断符号距离函数（TSDF）算法融合为单一几何一致的表面。
• 对于特定物体重建，将深度图与来自 Segment-Anything（SAM）的分割掩码结合，以隔离并重建单个物体。
• 整个流程在初始 3DGS 捕获基础上仅增加约 5 分钟计算时间，即使在智能手机拍摄的场景中亦成立。

实验结果

研究问题

• RQ1 从 3DGS 模型生成的校准立体新视角是否能产生比直接从高斯中心点重建更精确的深度图？
• RQ2 利用 3DGS 内在的新视角合成质量，是否能实现优于对高斯几何进行正则化方法的表面重建？
• RQ3 所提方法是否能在 Tanks and Temples 等基准数据集上实现最先进的精度，同时保持低计算开销？
• RQ4 将基于 3DGS 的新视角与立体匹配及 TSDF 融合相结合，在野外、智能手机拍摄的场景中是否有效？
• RQ5 该方法是否能通过分割与深度融合，实现准确、半自动的特定物体网格重建？

主要发现

• 在 Tanks and Temples 基准测试中，GS2Mesh 在准确性和效率上均超越了此前 3DGS 表面重建的最先进方法 SuGaR。
• 对于智能手机拍摄的野外场景，该方法实现了高保真重建，能够还原细小细节（如小桌缝隙），其质量与 BakedSDF 相当或更优，但耗时显著更短。
• 在 MobileBrick 数据集上的消融实验表明，使用 3DGS 渲染图像相比原始图像可提升召回率与 F1 分数（88.45% 召回率，85.50% F1 分数），且 Chamfer 距离更低（5.76 mm）。
• 在初始 3DGS 捕获后，该方法将表面重建时间缩短至 5 分钟以内，尤其适用于智能手机拍摄场景，展现出极高的效率。
• 与直接对原始图像应用 MVS 相比，该方法生成的重建结果更干净、孔洞更少，表明 3DGS 渲染提升了视角一致性并减少了噪声。
• 局限性包括在捕捉不良区域中由“漂浮”高斯点引起的伪影，以及因立体匹配失败导致透明表面出现错误。