[论文解读] DeformGS: Scene Flow in Highly Deformable Scenes for Deformable Object Manipulation

Bardienus P. Duisterhof, Zhao Mandi+9 more|arXiv (Cornell University)|Nov 30, 2023

Advanced Vision and Imaging被引用 6

一句话总结

MD-Splatting 提出了一种新颖的方法，通过从标准高斯表示中学习连续的度量形变，在存在遮挡和阴影的高可变形场景中实现同步的3D跟踪与新视角合成。与最先进方法相比，该方法在3D跟踪精度上实现了平均16.7%的提升，在强纹理和复杂形变条件下，对1×1米布料的中位跟踪误差低至3.39毫米。

ABSTRACT

Teaching robots to fold, drape, or reposition deformable objects such as cloth will unlock a variety of automation applications. While remarkable progress has been made for rigid object manipulation, manipulating deformable objects poses unique challenges, including frequent occlusions, infinite-dimensional state spaces and complex dynamics. Just as object pose estimation and tracking have aided robots for rigid manipulation, dense 3D tracking (scene flow) of highly deformable objects will enable new applications in robotics while aiding existing approaches, such as imitation learning or creating digital twins with real2sim transfer. We propose DeformGS, an approach to recover scene flow in highly deformable scenes, using simultaneous video captures of a dynamic scene from multiple cameras. DeformGS builds on recent advances in Gaussian splatting, a method that learns the properties of a large number of Gaussians for state-of-the-art and fast novel-view synthesis. DeformGS learns a deformation function to project a set of Gaussians with canonical properties into world space. The deformation function uses a neural-voxel encoding and a multilayer perceptron (MLP) to infer Gaussian position, rotation, and a shadow scalar. We enforce physics-inspired regularization terms based on conservation of momentum and isometry, which leads to trajectories with smaller trajectory errors. We also leverage existing foundation models SAM and XMEM to produce noisy masks, and learn a per-Gaussian mask for better physics-inspired regularization. DeformGS achieves high-quality 3D tracking on highly deformable scenes with shadows and occlusions. In experiments, DeformGS improves 3D tracking by an average of 55.8% compared to the state-of-the-art. With sufficient texture, DeformGS achieves a median tracking error of 3.3 mm on a cloth of 1.5 x 1.5 m in area. Website: https://deformgs.github.io

研究动机与目标

• 解决在大形变、阴影和遮挡条件下实现高精度3D跟踪的挑战。
• 实现实时高质量的新视角合成与度量3D跟踪的同步处理，适用于动态场景。
• 克服先前方法在标准空间中优化高斯表示但缺乏连续度量形变恢复的局限性。
• 通过施加类物理正则化，提升在强阴影和复杂运动场景下的鲁棒性与泛化能力。
• 提供一种可扩展且高效的训练流程，相比先前方法对序列长度的敏感性更低。

提出的方法

• 利用具有标准非度量特性的4D高斯作为可学习的场景表示。
• 采用神经体素编码和多层感知机（MLP）预测随时间变化的度量形变：高斯位置、旋转和阴影标量。
• 使用可微分光栅化器实现快速、可微分的渲染，并在训练中应用光度一致性损失。
• 应用类物理正则化：局部刚性、动量守恒和等距性，以稳定形变学习过程。
• 采用逐时间步训练，相比端到端优化，显著降低了训练时间对序列长度的敏感性。
• 通过可学习的超参数强制执行等距性正则化，以平衡跟踪精度与渲染质量。

实验结果

研究问题

• RQ1 能否利用标准高斯表示在存在阴影和遮挡的高可变形场景中学习连续的度量形变？
• RQ2 类物理正则化（如等距性、动量守恒）在多大程度上提升了跟踪的稳定性和精度？
• RQ3 MD-Splatting在极端形变条件下，在3D跟踪和新视角合成方面相比现有方法的性能提升程度如何？
• RQ4 等距性正则化与渲染质量之间的权衡如何影响不同场景类型下的性能表现？
• RQ5 该方法能否在复杂纹理和大形变场景中保持高保真重建和低跟踪误差，实现良好泛化？

主要发现

• 与最先进方法Dynamic 3D Gaussians [33]相比，MD-Splatting在六个合成场景中平均提升了16.7%的3D跟踪精度。
• 在具有强纹理的Scene 6中，MD-Splatting在1×1米布料经历大形变时，实现了3.39毫米的中位跟踪误差。
• 该方法在所有场景中均实现了高质量的新视角合成，平均PSNR达到39.1。
• MD-Splatting的训练时间相比Dynamic 3D Gaussians对时间步数的敏感性显著降低，10步序列的训练时间减少了2.5倍。
• 等距性正则化项（$\mathcal{L}^{\text{iso}}$）在$10^{-0.5}$时达到最优跟踪性能，且在多个场景中表现出一致的局部最优。
• 在低纹理和复杂形变场景中，MD-Splatting优于DeVRF和DynaGS等基线方法，后者在这些场景中表现失败或细节模糊。