[论文解读] GaussianObject: High-Quality 3D Object Reconstruction from Four Views with Gaussian Splatting

Yang Chen, Sikuang Li+6 more|arXiv (Cornell University)|Feb 15, 2024

3D Surveying and Cultural HeritageEarth and Planetary Sciences被引用 3

一句话总结

GaussianObject 提出了一种新颖的框架，仅使用四张输入图像即可实现高质量的3D物体重建，采用3D高斯溅射技术。该框架整合了视觉外壳先验和漂浮物消除技术以实现多视角一致性，随后利用基于扩散模型的高斯修复模型恢复缺失或压缩的几何结构，在 MipNeRF360、OmniObject3D 和 OpenIllumination 数据集上实现了最先进性能，且输入视图数量极少。

ABSTRACT

Reconstructing and rendering 3D objects from highly sparse views is of critical importance for promoting applications of 3D vision techniques and improving user experience. However, images from sparse views only contain very limited 3D information, leading to two significant challenges: 1) Difficulty in building multi-view consistency as images for matching are too few; 2) Partially omitted or highly compressed object information as view coverage is insufficient. To tackle these challenges, we propose GaussianObject, a framework to represent and render the 3D object with Gaussian splatting that achieves high rendering quality with only 4 input images. We first introduce techniques of visual hull and floater elimination, which explicitly inject structure priors into the initial optimization process to help build multi-view consistency, yielding a coarse 3D Gaussian representation. Then we construct a Gaussian repair model based on diffusion models to supplement the omitted object information, where Gaussians are further refined. We design a self-generating strategy to obtain image pairs for training the repair model. We further design a COLMAP-free variant, where pre-given accurate camera poses are not required, which achieves competitive quality and facilitates wider applications. GaussianObject is evaluated on several challenging datasets, including MipNeRF360, OmniObject3D, OpenIllumination, and our-collected unposed images, achieving superior performance from only four views and significantly outperforming previous SOTA methods. Our demo is available at https://gaussianobject.github.io/, and the code has been released at https://github.com/GaussianObject/GaussianObject.

研究动机与目标

• 为解决从极稀疏视图（尤其是四张图像）重建高质量3D物体的挑战。
• 在输入受限的条件下提升多视角一致性，避免过拟合与碎片化表示。
• 恢复因稀疏捕捉中视图覆盖不足而导致的缺失或高度压缩的物体几何结构。
• 利用3D高斯溅射实现快速、显式且可微分的3D表示，并引入结构先验。
• 开发一种基于扩散模型的修复模型，通过自生成图像对对3D高斯进行精炼，以恢复受损的渲染伪影。

提出的方法

• 利用视觉外壳构建初始3D高斯表示，将高斯限制在物体轮廓内，以强制实现几何一致性。
• 在优化过程中应用漂浮物消除策略，移除不属于物体表面的异常高斯点。
• 采用自生成策略生成配对图像以训练基于扩散的修复模型，包括留一法渲染和3D高斯噪声注入。
• 扩散模型将低保真度、受损的渲染图像转换为高保真版本，随后用于精炼3D高斯表示。
• 修复模型与3D高斯优化端到端联合训练，通过反馈机制迭代提升渲染质量。
• 该框架结合结构感知初始化与生成式修复，仅通过四张视图即实现高保真3D重建。

实验结果

研究问题

• RQ1 在仅四张输入图像的情况下，能否在3D高斯溅射中有效建立多视角一致性？
• RQ2 当视图覆盖有限时，如何恢复缺失或严重压缩的物体几何结构？
• RQ3 能否将扩散模型适配用于修复受损的3D渲染图像，以实现3D高斯的精炼？
• RQ4 何种自监督数据生成策略可实现无需真实配对数据的修复模型有效训练？
• RQ5 将结构先验与生成式修复相结合，是否能在稀疏视图基准上实现优于当前最先进方法的3D重建质量？

主要发现

• GaussianObject 在仅四张输入视图的情况下，于 MipNeRF360、OmniObject3D 和 OpenIllumination 数据集上均实现了最先进性能。
• 在 OpenIllumination 数据集的 'cake' 场景中，GaussianObject 实现 PSNR 28.58 和 SSIM 0.9613，优于 ZeroRF（PSNR: 29.44, SSIM: 0.9650）及其他最先进方法。
• 在 OpenIllumination 的 'pine' 物体上，GaussianObject 实现 PSNR 21.68 和 LPIPS 0.0761，显著优于 3DGS（PSNR: 10.07, LPIPS: 0.3038）。
• 在 'shroom' 和 'cow' 等挑战性场景中，与 3DGS 相比，LPIPS 最多降低 40%，与 DietNeRF 相比降低 30%。
• 用于训练修复模型的自生成策略有效去除了伪影，如所有测试数据集的 PSNR 和 SSIM 均有提升。
• 定性结果表明，GaussianObject 即使仅基于四张视图，也能生成连贯、细节丰富且视觉上可信的3D重建，伪影极少，几何保真度高。