[論文レビュー] Rapid Adaptation of Particle Dynamics for Generalized Deformable Object Mobile Manipulation

Bohan Wu, Roberto Martín-Martín+1 more|arXiv (Cornell University)|Mar 18, 2026

Robot Manipulation and Learning被引用数 0

ひとこと要約

RAPiDは Privilegedなシミュレーションデータと実世界の視覚観測から形状埋め込みとダイナミクス埋め込みを推定する2段階の sim-to-real 学習アプローチにより未知の変形物体ダイナミクスへ素早く適応し、2つの実世界タスクで80%以上の成功率を達成します。

ABSTRACT

We address the challenge of learning to manipulate deformable objects with unknown dynamics. In non-rigid objects, the dynamics parameters define how they react to interactions -- how they stretch, bend, compress, and move -- and they are critical to determining the optimal actions to perform a manipulation task successfully. In other robotic domains, such as legged locomotion and in-hand rigid object manipulation, state-of-the-art approaches can handle unknown dynamics using Rapid Motor Adaptation (RMA). Through a supervised procedure in simulation that encodes each rigid object's dynamics, such as mass and position, these approaches learn a policy that conditions actions on a vector of latent dynamic parameters inferred from sequences of state-actions. However, in deformable object manipulation, the object's dynamics not only includes its mass and position, but also how the shape of the object changes. Our key insight is that the recent ground-truth particle positions of a deformable object in simulation capture changes in the object's shape, making it possible to extend RMA to deformable object manipulation. This key insight allows us to develop RAPiD, a two-phase method that learns to perform real-robot deformable object mobile manipulation by: 1) learning a visuomotor policy conditioned on the object's dynamics embedding, which is encoded from the object's privileged information in simulation, such as its mass and ground-truth particle positions, and 2) learning to infer this embedding using non-privileged information instead, such as robot visual observations and actions, so that the learned policy can transfer to the real world. On a mobile manipulator with 22 degrees of freedom, RAPiD enables over 80%+ success rates across two vision-based deformable object mobile manipulation tasks in the real world, under various object dynamics, categories, and instances.

研究の動機と目的

• 未知のダイナミクスをもつ変形物体の現実世界でのマニピュレーションを動機づける。
• privilegedなシミュレーションデータと非privilegedな実世界観測を活用して物体ダイナミクスを推定する2段階学習フレームワークを開発する。
• オンボードセンサのみでシミュレーションから実 robot へのゼロショット転送を実現する。

提案手法

• ダイナミクス埋め込みと形状埋め込みを条件とした visuomotor ポリシーを訓練するためにprivilegedシミュレーションデータを使用する。
• 深度画像と行動から埋め込みを推定するためにエンコーダをShape AdaptationおよびDynamics Adaptationモジュールへ置換し、L1損失で訓練する。
• RLでシミュレーション訓練を行い、次に非privilegedな入力でファインチューニングして実世界転送を可能にする。
• onboard深度画像とロボットの行動を用いた埋め込み更新を5タイムステップごとに周期的に適用してポリシーをデプロイする。
• 訓練をPhase I（エンコーダ）とPhase II（適応器）に分割してprivileged inputと非privileged inputの分離を維持する。

実験結果

リサーチクエスチョン

• RQ1 RAPiDは実世界で見られる未知のダイナミクス、カテゴリ、インスタンスに対して変形物体操作を一般化できるか？
• RQ2 Shape AdaptationおよびDynamics Adaptationモジュールは変形物体タスクの性能にとってどれほど重要か？
• RQ3 変形物体の操作には物体形状変化の推定が必須か？
• RQ4 エンドツーエンドのRLだけでは2段階の適応フェーズと同様に収束するか？
• RQ5 RAPiDは実機タスクにおいてsim-to-realベースラインと比較してどのような影響を与えるか？

主な発見

方法	1D_Inserting 成功数（20中）	2D_Covering 成功数（20中）	総成功数（40中）	総合成功率
RAPiD	17	16	33 / 40	82.5%
DMfD	3	1	4 / 40	10%
DDOD	2	5	7 / 40	17.5%
RAPiD-No-Adapt	7	5	12 / 40	30%
RAPiD-No-Shape	7	9	16 / 40	40%
RAPiD-E2E	5	4	9 / 40	22.5%

• RAPiDはDMfDおよびDDODを2つのタスクで大幅に上回る。
• unseen dynamicsで1D_Insertingと2D_Coveringのそれぞれで80%台の成功率を達成。
• 適応モジュールなしで52.5%低下、Shape Adaptationモジュールなしで42.5%低下と評価。
• エンドツーエンド訓練（E2E）は成功率を約60%低下させ、信頼性のある収束に失敗する。
• 2段階アプローチにより多様なダイナミクス、カテゴリ、インスタンスにわたり実世界オブジェクトへ安定したゼロショット転送を実現。