[논문 리뷰] SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation

Mu Huang, Hui Wang외 6명|arXiv (Cornell University)|2026. 02. 02.

Robot Manipulation and Learning인용 수 0

한 줄 요약

SoMA는 Gaussian splats를 사용하여 로봇 제어 하에 변형 가능 물체의 동역학을 모델링하는 실-대-시뮬 신경 시뮬레이터로, 안정적이고 긴 시야의 행동-조건 소프트 바디 조작을 가능하게 하며 재시뮬레이션 및 일반화를 향상시킵니다. 또한 최첨단 RGB/깊이 충실도를 달성하고 티셔츠 접기 같은 복잡한 작업을 지원합니다.

ABSTRACT

Simulating deformable objects under rich interactions remains a fundamental challenge for real-to-sim robot manipulation, with dynamics jointly driven by environmental effects and robot actions. Existing simulators rely on predefined physics or data-driven dynamics without robot-conditioned control, limiting accuracy, stability, and generalization. This paper presents SoMA, a 3D Gaussian Splat simulator for soft-body manipulation. SoMA couples deformable dynamics, environmental forces, and robot joint actions in a unified latent neural space for end-to-end real-to-sim simulation. Modeling interactions over learned Gaussian splats enables controllable, stable long-horizon manipulation and generalization beyond observed trajectories without predefined physical models. SoMA improves resimulation accuracy and generalization on real-world robot manipulation by 20%, enabling stable simulation of complex tasks such as long-horizon cloth folding.

연구 동기 및 목표

• 물리 기반 방법과 데이터 기반 방법을 연결한다 for real-to-sim 소프트 바디 조작.
• 변형 가능한 물체, 환경, 로봇 동작을 통합된 학습 공간에 표현한다.
• 가림 처리와 함께 동작-조건의 안정적이고 긴 호라이즌 시뮬레이션을 달성한다.
• 관찰된 궤적을 넘어 일반화되는 확장 가능한 학습 전략을 제공한다.

제안 방법

• 학습된 동역학을 가진 가우시안 스플랫의 계층적 그래프로 변형 가능한 물체를 표현한다.
• 로봇 컨디셔닝된 실-대-시뮬 매핑을 확립하여 동역학을 로봇 관절 동작에 고정시킨다.
• 환경 힘과 로봇에 의해 유도된 힘이 splats에 적용되고 계층 전반으로 전달되어 힘 기반 상호작용을 모델링한다.
• 장시간 동역학의 안정화를 위한 거친-세밀한 시점과 이미지 해상도의 이중 다중 해상도 학습을 사용한다.
• 관찰되지 않은 영역에 대해 마스크 손실 및 모멘텀-일관성 규제를 포함한 가림 인지 이미지 감독을 적용한다.

Figure 2 : Framework of SoMA. SoMA takes RGB observations and robot joint-space actions collected from real-world manipulation as input (Left). It reconstructs deformable objects as hierarchical Gaussian splats, and propagates them through a neural simulator with supervision from rendering and dynam

실험 결과

연구 질문

• RQ1 다양한 로봇 동작 하에서 SoMA가 변형 가능한 물체의 동역학을 정확히 재시뮬레이션할 수 있는가?
• RQ2 로봇 컨디셔닝이 보지 못한 동작 및 접촉 구성에 대한 일반화를 향상시키는가?
• RQ3 다중 해상도 학습과 혼합 감독이 긴 시퀀스 소프트 바디 조작의 안정화를 가져오는가?
• RQ4 실-대-시뮬 조작에서 RGB/깊이 충실도 측면에서 SoMA가 물리 기반 및 신경 기반 기준선과 어떻게 비교되는가?
• RQ5 가림하에서 긴 시퀀스의 티셔츠 접기와 같은 복잡한 작업이 SoMA로 수행 가능한가?

주요 결과

• SoMA는 RGB 및 depth 성능에서 최첨단 성능을 달성하여 재시뮬레이션 및 일반화 과제에서 기준선을 능가한다.
• 로봇 조작 하에서 변형 가능한 물체의 긴 시퀀스 상호작용 일관 시뮬레이션을 지원한다.
• SoMA는 보고된 실험에서 PhysTwin 및 GausSim보다 보지 못한 동작과 접촉 구성에 대해 더 잘 일반화한다.
• 티셔츠 접기에서 SoMA는 기하학 및 동역학이 일관되며 기준선보다 인공물(아티팩트)이 적게 나타난다.
• 절단 실험은 안정성과 일반화를 위해 다중 해상도 학습과 혼합 감독의 중요성을 보여준다.

Figure 3 : Qualitative resimulation and generalization under robot manipulation. Left: resimulation on training trajectories. Right: generalization to unseen robot actions and contact configurations. Across diverse soft-body objects, including near-linear (rope), near-planar (cloth), and volumetric