[论文解读] Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian Splatting

Yiming Huang, Beilei Cui+5 more|arXiv (Cornell University)|Jan 29, 2024

Ophthalmology and Visual Impairment StudiesMedicine被引用 3

一句话总结

Endo-4DGS 提出了一种基于 4D 高斯溅射和 Depth-Anything 进行伪深度估计的实时单目内镜场景重建方法，实现了无需真实深度监督的高保真动态组织重建。该方法实现 100 FPS 推理速度、4 分钟训练时间以及 4GB GPU 显存占用，在两个外科数据集上均超越了当前最先进方法在准确率与效率方面的表现。

ABSTRACT

In the realm of robot-assisted minimally invasive surgery, dynamic scene reconstruction can significantly enhance downstream tasks and improve surgical outcomes. Neural Radiance Fields (NeRF)-based methods have recently risen to prominence for their exceptional ability to reconstruct scenes but are hampered by slow inference speed, prolonged training, and inconsistent depth estimation. Some previous work utilizes ground truth depth for optimization but is hard to acquire in the surgical domain. To overcome these obstacles, we present Endo-4DGS, a real-time endoscopic dynamic reconstruction approach that utilizes 3D Gaussian Splatting (GS) for 3D representation. Specifically, we propose lightweight MLPs to capture temporal dynamics with Gaussian deformation fields. To obtain a satisfactory Gaussian Initialization, we exploit a powerful depth estimation foundation model, Depth-Anything, to generate pseudo-depth maps as a geometry prior. We additionally propose confidence-guided learning to tackle the ill-pose problems in monocular depth estimation and enhance the depth-guided reconstruction with surface normal constraints and depth regularization. Our approach has been validated on two surgical datasets, where it can effectively render in real-time, compute efficiently, and reconstruct with remarkable accuracy.

研究动机与目标

• 解决基于 NeRF 的方法在内镜重建中存在推理速度慢、计算成本高以及依赖立体深度的问题。
• 克服因尺寸、成本与后勤限制导致在微创手术中无法使用立体相机的现实困境。
• 仅通过单目视频输入，实现对可变形内镜场景的高精度实时重建。
• 在保持高重建保真度的同时，减少训练时间与 GPU 显存消耗，以支持临床部署。
• 集成轻量级 MLP 以建模组织形变的时间动态特性，提升对动态外科环境的重建能力。

提出的方法

• 通过引入时间作为第四维，将 3D 高斯溅射扩展至 4D，实现对动态内镜场景的时空建模。
• 使用 Depth-Anything（一种视觉基础模型）从单目内镜图像生成伪深度图，提供无需真实深度数据的深度监督。
• 引入轻量级 MLP 以预测 4D 高斯的时序形变，建模组织运动与形状随时间的变化。
• 利用具有空间、角度与透明度混合特性的可微分光栅化器优化 4D 高斯，实现高保真渲染。
• 采用带超参数 α=1000 与 λ=0.01 的深度排序损失，提升伪深度质量与重建一致性。
• 使用 Adam 优化器与 1.6×10⁻³ 的初始学习率，端到端训练大小为 [64,64,64,75] 的体素化 4D 网格。

实验结果

研究问题

• RQ1 4D 高斯溅射能否在无真实深度监督的情况下，有效适配于单目内镜场景重建？
• RQ2 像 Depth-Anything 这类视觉基础模型在内镜图像上的伪深度估计中，泛化能力如何？
• RQ3 轻量级 MLP 是否能有效建模实时外科场景中组织形变的动力学特性？
• RQ4 与基于 NeRF 的基线方法相比，所提方法是否能在保持高重建精度的同时实现推理速度的实时化？
• RQ5 与现有最先进方法相比，该方法在训练时间与 GPU 显存使用方面减少了多少？

主要发现

• 在 StereoMIS 数据集上，Endo-4DGS 实现 36.84 的 PSNR 与 0.954 的 SSIM，显著优于 EndoNeRF（21.49 PSNR）与 EndoSurf（34.89 PSNR）。
• 在 EndoNeRF 数据集上，Endo-4DGS 实现 37.08 的 PSNR 与 0.955 的 SSIM，大幅超越 EndoNeRF（21.49 PSNR）与 EndoSurf（34.91 PSNR）。
• 该方法实现 100 FPS 推理速度，相较 EndoNeRF（0.2 FPS）与 EndoSurf（0.04 FPS）有显著提升，支持实时应用。
• 训练时间缩短至仅 4 分钟，远低于 EndoSurf 的 7 小时与 EndoNeRF 的 5 小时，且仅需 4GB GPU 显存。
• 在存在器械遮挡与非刚性组织形变的复杂场景中，该方法展现出优越的泛化能力，如定性对比所示。
• Depth-Anything 的集成实现了高质量的伪深度估计，支持在无真实深度监督下的精确深度引导重建。