[論文レビュー] DeformGS: Scene Flow in Highly Deformable Scenes for Deformable Object Manipulation

Bardienus P. Duisterhof, Zhao Mandi+9 more|arXiv (Cornell University)|Nov 30, 2023

Advanced Vision and Imaging被引用数 6

ひとこと要約

MD-Splatting は、標準的なガウス表現からの連続的なメトリック変形を学習することにより、遮蔽や影を伴う高歪みのシーンにおける同時3次元トラッキングおよび新規視点合成のための新規な手法を提示する。最先端の手法と比較して、平均で16.7%の3次元トラッキング精度向上を達成し、強めなテクスチャと複雑な変形を伴う1×1mの布に対しては中央値のトラッキング誤差が3.39mmにまで低下する。

ABSTRACT

Teaching robots to fold, drape, or reposition deformable objects such as cloth will unlock a variety of automation applications. While remarkable progress has been made for rigid object manipulation, manipulating deformable objects poses unique challenges, including frequent occlusions, infinite-dimensional state spaces and complex dynamics. Just as object pose estimation and tracking have aided robots for rigid manipulation, dense 3D tracking (scene flow) of highly deformable objects will enable new applications in robotics while aiding existing approaches, such as imitation learning or creating digital twins with real2sim transfer. We propose DeformGS, an approach to recover scene flow in highly deformable scenes, using simultaneous video captures of a dynamic scene from multiple cameras. DeformGS builds on recent advances in Gaussian splatting, a method that learns the properties of a large number of Gaussians for state-of-the-art and fast novel-view synthesis. DeformGS learns a deformation function to project a set of Gaussians with canonical properties into world space. The deformation function uses a neural-voxel encoding and a multilayer perceptron (MLP) to infer Gaussian position, rotation, and a shadow scalar. We enforce physics-inspired regularization terms based on conservation of momentum and isometry, which leads to trajectories with smaller trajectory errors. We also leverage existing foundation models SAM and XMEM to produce noisy masks, and learn a per-Gaussian mask for better physics-inspired regularization. DeformGS achieves high-quality 3D tracking on highly deformable scenes with shadows and occlusions. In experiments, DeformGS improves 3D tracking by an average of 55.8% compared to the state-of-the-art. With sufficient texture, DeformGS achieves a median tracking error of 3.3 mm on a cloth of 1.5 x 1.5 m in area. Website: https://deformgs.github.io

研究の動機と目的

• 大規模な変形、影、遮蔽を伴う高歪みのシーンにおける正確な3次元トラッキングの課題に対処すること。
• 動的シーンにおける高品質な新規視点合成とメトリック3次元トラッキングを同時に実現すること。
• 従来の手法がキャノニカル空間でガウスを最適化するが、連続的なメトリック変形の回復を行わないという制限を克服すること。
• 物理にインspiredされた正則化を導入することで、強い影や複雑な運動を伴うシーンにおけるロバストネスと一般化性能を向上させること。
• 従来のアプローチよりもシーケンス長に敏感でない、スケーラブルで効率的なトレーニングパイプラインを提供すること。

提案手法

• 学習可能なシーン表現として、キャノニカルでメトリックでない4次元ガウスを活用する。
• ニューラルボクセル符号化と多層パーセプトロン（MLP）を用いて、時間経過に伴うガウスの位置、回転、影スカラーのメトリック変形を予測する。
• トレーニング中に光度一貫性損失を確保するため、高速で微分可能なレンダリングを実現する微分可能ラスタライザーを用いる。
• 変形学習の安定化のため、局所的剛性、運動量保存、等長性といった物理にインspiredされた正則化を適用する。
• 1ステップずつ順次トレーニングすることで、エンドツーエンド最適化と比較して、シーケンス長に依存するトレーニング時間の増加を低減する。
• 等長性正則化を、トレーニング精度とレンダリング品質のバランスを取るために学習可能なハイパーパrameterとして導入する。

実験結果

リサーチクエスチョン

• RQ1 影や遮蔽を伴う高歪みのシーンにおいて、キャノニカルガウス表現を用いて連続的なメトリック変形を学習可能か？
• RQ2 物理にインspiredされた正則化（例：等長性、運動量保存）は、トラッキングの安定性と精度をどのように向上させるか？
• RQ3 極端な変形下において、MD-Splatting は3次元トラッキングおよび新規視点合成の両面で、既存手法をどれほど上回るか？
• RQ4 等長性正則化とレンダリング品質のトレードオフが、多様なシーンタイプにおいて性能にどのように影響を与えるか？
• RQ5 複雑なテクスチャと大規模な変形を伴うシーンにおいて、本手法は高精細な再構成と低トラッキング誤差を維持しながら一般化可能か？

主な発見

• MD-Splatting は、6つの合成シーンにおいて、最先端の Dynamic 3D Gaussians [33] と比較して、平均で16.7%の3次元トラッキング精度向上を達成した。
• 強めなテクスチャを伴う Scene 6 において、1×1メートルの布に対して大規模な変形下でも、中央値のトラッキング誤差が3.39 mmにまで低下した。
• 本手法は、すべてのシーンで平均PSNRが39.1に達する高品質な新規視点合成を実現した。
• MD-Splatting におけるトレーニング時間は、Dynamic 3D Gaussians よりもシーケンスステップ数に大幅に敏感でない。10ステップシーケンスでは、トレーニング時間が2.5倍短縮された。
• 等長性正則化項（$\mathcal{L}^{\text{iso}}$）は、$10^{-0.5}$ で最適なトラッキング性能を達成し、複数のシーンで共通の局所最適解を示した。
• 低テクスチャで複雑な変形を伴うシーンにおいて、DeVRF や DynaGS といったベースライン手法と比較して、MD-Splatting は性能を上回り、他の手法が失敗するか詳細がぼやける状況でも優れた性能を発揮した。