[論文レビュー] SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation

Mu Huang, Hui Wang+6 more|arXiv (Cornell University)|Feb 2, 2026

Robot Manipulation and Learning被引用数 0

ひとこと要約

SoMA は Gaussian splat に基づく実世界からシミュレーションへ動作するニューラル・シミュレータで、ロボット制御下の変形可能オブジェクトのダイナミクスをモデル化し、安定した長期・アクション条件付きのソフトボディ操作を実現。再シミュレーションと一般化の改善により、状態最先端の RGB/深度忠実度を達成し、Tシャツ折りたたみといった複雑なタスクをサポート。

ABSTRACT

Simulating deformable objects under rich interactions remains a fundamental challenge for real-to-sim robot manipulation, with dynamics jointly driven by environmental effects and robot actions. Existing simulators rely on predefined physics or data-driven dynamics without robot-conditioned control, limiting accuracy, stability, and generalization. This paper presents SoMA, a 3D Gaussian Splat simulator for soft-body manipulation. SoMA couples deformable dynamics, environmental forces, and robot joint actions in a unified latent neural space for end-to-end real-to-sim simulation. Modeling interactions over learned Gaussian splats enables controllable, stable long-horizon manipulation and generalization beyond observed trajectories without predefined physical models. SoMA improves resimulation accuracy and generalization on real-world robot manipulation by 20%, enabling stable simulation of complex tasks such as long-horizon cloth folding.

研究の動機と目的

• 実世界とデータ駆動のアプローチを橋渡しし、実世界→シミュレーションのソフトボディ操作を実現する。
• 変形可能なオブジェクト・環境・ロボットアクションを統一学習空間で表現する。
• 遮蔽処理を含む長期安定なアクション条件付きシミュレーションを実現する。
• 観測可能 traj を超える一般化が可能なスケーラブルな学習戦略を提供する。

提案手法

• 変形可能なオブジェクトを学習ダイナミクスを持つガウス splat の階層グラフとして表現する。
• ロボット結合動作へダイナミクスを固定するロボット条件付きの実世界→シミュレーション写像を確立する。
• 環境による力とロボット誘発力を splat に適用し階層を通じて伝播させる力駆動相互作用をモデル化する。
• 長期ダイナミクスを安定化させるために粗から細への二段階の多解像度学習を適用する（時間解像度と画像解像度の段階的統合）。
• 観測されていない領域に対してマスク付き損失と運動量整合性正則化を用いた遮蔽対応の画像監督を適用する。

Figure 2 : Framework of SoMA. SoMA takes RGB observations and robot joint-space actions collected from real-world manipulation as input (Left). It reconstructs deformable objects as hierarchical Gaussian splats, and propagates them through a neural simulator with supervision from rendering and dynam

実験結果

リサーチクエスチョン

• RQ1 SoMA はさまざまなロボットアクション下で変形可能オブジェクトのダイナミクスを再シミュレーションできるか。
• RQ2 ロボット条件付けは見たことのないアクションと接触構成への一般化を改善するか。
• RQ3 多解像度訓練と混合監督は長期のソフトボディ操作を安定化できるか。
• RQ4 RGB/深度忠実度において、現実→シミュレーション操作で物理ベースとニューラルベースのベースラインと比較してどうか。
• RQ5 遮蔽下の長期展開タスクであるTシャツ折りたたみのような複雑タスクを SoMA は達成できるか。

主な発見

• SoMA は最先端の RGB と深度性能を達成し、再シミュレーションと一般化タスクでベースラインを上回る。
• ロボット操作下での変形可能オブジェクトの長期・相互作用整合シミュレーションをサポートする。
• SoMA は報告された実験で PhysTwin や GausSim より unseen アクションと接触構成への一般化が優れている。
• Tシャツ折りたたみでは、SoMA はベースラインよりもアーチファクトが少なく、幾何・ダイナミクスの一貫性を示す。
• アブレーションにより、多解像度訓練と混合監督が安定性と一般化に重要であることが示された。

Figure 3 : Qualitative resimulation and generalization under robot manipulation. Left: resimulation on training trajectories. Right: generalization to unseen robot actions and contact configurations. Across diverse soft-body objects, including near-linear (rope), near-planar (cloth), and volumetric