[论文解读] InstantSplat: Sparse-view Gaussian Splatting in Seconds

Zhiwen Fan, Wenyan Cong+10 more|arXiv (Cornell University)|Mar 29, 2024

Spectroscopy Techniques in Biomedical and Chemical Research被引用 9

一句话总结

InstantSplat 将姿态无关、稀疏视图的3D高斯喷涂与密集立体先验统一起来，在不到一分钟内重建与渲染大规模场景，无需预先计算的相机内参/外参。

ABSTRACT

While neural 3D reconstruction has advanced substantially, its performance significantly degrades with sparse-view data, which limits its broader applicability, since SfM is often unreliable in sparse-view scenarios where feature matches are scarce. In this paper, we introduce InstantSplat, a novel approach for addressing sparse-view 3D scene reconstruction at lightning-fast speed. InstantSplat employs a self-supervised framework that optimizes 3D scene representation and camera poses by unprojecting 2D pixels into 3D space and aligning them using differentiable neural rendering. The optimization process is initialized with a large-scale trained geometric foundation model, which provides dense priors that yield initial points through model inference, after which we further optimize all scene parameters using photometric errors. To mitigate redundancy introduced by the prior model, we propose a co-visibility-based geometry initialization, and a Gaussian-based bundle adjustment is employed to rapidly adapt both the scene representation and camera parameters without relying on a complex adaptive density control process. Overall, InstantSplat is compatible with multiple point-based representations for view synthesis and surface reconstruction. It achieves an acceleration of over 30x in reconstruction and improves visual quality (SSIM) from 0.3755 to 0.7624 compared to traditional SfM with 3D-GS.

研究动机与目标

• 在不依赖预计算相机内参/外参的情况下，激发在不受约束、稀疏视图设置中的鲁棒新视图合成（NVS）研究目标。
• 将显式的3D高斯喷涂与端到端密集立体先验结合，以实现快速、无姿态的场景重建。
• 提供一个简化的优化流程，用于初始化几何并联合优化高斯属性与相机参数。
• 演示在大型室外场景中实现可扩展性，并提升渲染质量与姿态精度。

提出的方法

• 提出 InstantSplat，一个两阶段流程：粗略几何初始化（CGI），从预训练的密集立体模型（DUSt3R）获取全局对齐的点云映射和初始姿态。
• 利用 DUSt3R 从未标定/无姿态的图像生成逐视图点云及置信度图，并通过 Weiszfeld 基焦距估计恢复相机内参。
• 执行快速3D高斯优化（F-3DGO），在全局对齐的3D先验基础上联合细化3D高斯属性和相机参数，并进行姿态正则化。
• 通过3D高斯喷涂（3D-GS）进行渲染，采用基于 SH 的颜色编码与视角方向相关系数。
• 通过冻结训练好的3D-GS模型并优化测试视图相机姿态来最小化光度差异，按 NeRFmm 启发的策略对齐测试视图。

实验结果

研究问题

• RQ1 在不依赖 COLMAP 类预计算的情况下，如何在姿态无关、稀疏视图场景中执行NVS？
• RQ2 端到端的密集立体先验是否可以与高斯喷涂有效结合，以在大规模室外场景中实现高质量渲染与准确姿态估计？
• RQ3 用全局对齐的点云先验进行初始化对优化效率和最终渲染质量的影响如何？
• RQ4 高斯属性与相机参数的联合优化（在姿态正则化下）在速度和准确性方面与传统的依赖姿态方法相比有何不同？

主要发现

• InstantSplat 在渲染质量方面实现提升（例如在 Tanks & Temples 和 MVImgNet 的 SSIM 高达 0.89），同时显著缩短优化时间（不到1分钟）。
• 姿态估计精度显著提高，ATE 下降（例如在 Tanks & Temples 中从 0.055 降至 0.011），以及在评估场景中的 RPE 改善。
• 该方法在渲染质量（PSNR/SSIM/LPIPS）和姿态指标方面均优于无姿态基线（如 CF-3DGS 与 Nope-NeRF），同时避免不稳定姿态估计带来的伪影。
• 使用全局对齐的点云作为先验，可减少对3DGS中复杂自适应密度控制的依赖并加速优化。
• 在姿态正则化条件下，将高斯属性与相机参数进行联合优化，能够产生更清晰的渲染并为测试视图提供更稳健的对齐。