[論文レビュー] PlasticineLab: A Soft-Body Manipulation Benchmark with Differentiable Physics

Zhiao Huang, Yuanming Hu+5 more|arXiv (Cornell University)|Apr 7, 2021

Tactile and Sensory Interactions参考文献 51被引用数 23

ひとこと要約

PlasticineLab は、微分可能 MPM を用いた弾塑性変形を特徴とする、ソフトボディ操作のための微分可能物理ベンチマークであり、10のタスクと 50 の設定を含む。微分可能物理を用いた高速な勾配ベースの軌道最適化を可能にし、単純なタスクでは強化学習（RL）を上回るが、長時間スパンの計画では困難を示しており、微分可能物理と強化学習を組み合わせたハイブリッド手法の必要性を示唆している。

ABSTRACT

Simulated virtual environments serve as one of the main driving forces behind developing and evaluating skill learning algorithms. However, existing environments typically only simulate rigid body physics. Additionally, the simulation process usually does not provide gradients that might be useful for planning and control optimizations. We introduce a new differentiable physics benchmark called PasticineLab, which includes a diverse collection of soft body manipulation tasks. In each task, the agent uses manipulators to deform the plasticine into the desired configuration. The underlying physics engine supports differentiable elastic and plastic deformation using the DiffTaichi system, posing many under-explored challenges to robotic agents. We evaluate several existing reinforcement learning (RL) methods and gradient-based methods on this benchmark. Experimental results suggest that 1) RL-based approaches struggle to solve most of the tasks efficiently; 2) gradient-based approaches, by optimizing open-loop control sequences with the built-in differentiable physics engine, can rapidly find a solution within tens of iterations, but still fall short on multi-stage tasks that require long-term planning. We expect that PlasticineLab will encourage the development of novel algorithms that combine differentiable physics and RL for more complex physics-based skill learning tasks.

研究の動機と目的

• 物理的に正確で微分可能な環境において、複雑なソフトボディ操作スキルを学習するための標準化されたベンチマークの欠如に対処すること。
• 制御および計画のための勾配ベースの最適化を可能にする、微分可能な弾性および塑性変形をサポートするシミュレーションプラットフォームの開発。
• 複雑なソフトボディタスクにおける強化学習と勾配ベースの計画法の性能を評価・比較すること。
• 微分可能物理と模倣学習および強化学習を統合することで、より優れたポリシー学習とシミュレーションから現実への転送を実現することの探求。
• 一般化、手続き的タスク生成、ドメインランダマイゼーションをサポートする、公開可能なベンチマークの提供。

提案手法

• ベンチマークは、微分可能な材料点法（MPM）を用いた Taichi 物理エンジンを使用し、von Mises の降伏基準を用いて弾塑性材料をシミュレートする。
• 複雑で数値的に困難な操作（例：塑性モデルにおける SVD）を経由する勾配を計算するため、二段階のリバースモード微分フレームワークを実装している。
• ソフト・リジッドおよびソフト・ソフトの相互作用においても微分可能性を保つように、特化した接触モデルを設計している。
• ロール、ピンチ、彫刻などの、粘土の変形を正確に制御する必要がある、10の多様な操作タスクをサポートする。
• 勾配情報を用いて、数十回の反復で収束する高速な勾配ベースのプランナにより、オープンループ行動シーケンスを最適化する。
• タスク設定の手続き的生成と、シミュレーションから現実への転送に統合可能なドメインランダマイゼーションをサポートする。

実験結果

リサーチクエスチョン

• RQ1 微分可能物理を用いた勾配ベースの最適化手法と強化学習の間で、ソフトボディ操作タスクの解法において、どのような差が生じるか？
• RQ2 微分可能物理は、複雑な弾塑性変形タスクにおける高速かつ高精度な軌道計画を可能にするか？
• RQ3 長時間スパン・マルチステージのソフトボディ操作タスクにおいて、勾配ベースの手法にどのような制限があるか？
• RQ4 勾配消失が発生する分離・再結合のシナリオにおいて、微分可能物理をランダムサーチや強化学習のようなサンプリングベースの手法と組み合わせることで、どのような課題を克服できるか？
• RQ5 PlasticineLab は、勾配ベースの物理的パrameter同定とドメインランダマイゼーションを通じて、シミュレーションから現実へのポリシー転送をどの程度サポートできるか？

主な発見

• 勾配ベースの計画法は、50回未満の最適化反復で単純な PlasticineLab タスクを解消し、高い精度と速度を達成したが、強化学習法は 10,000 エピソード経過しても収束しなかった。
• 微分可能物理エンジンは、数値的に困難な SVD 操作を含む複雑な塑性モデルを経由する勾配を正しく計算でき、エンドツーエンドの最適化を可能にした。
• 勾配ベースの手法は初期値に極めて敏感であり、初期行動シーケンスが悪いと性能が著しく低下した。
• 分離・再結合を伴うマルチステージタスクでは、勾配消失のため勾配ベースの最適化が失敗し、ハイブリッドな計画戦略の必要性が示された。
• ベンチマークは、強化学習ベースのエージェントが長時間スパンの計画において広範な探索を必要とし、勾配ベースの手法が局所的ガイドを提供するが長期的パワーに欠けることを明らかにした。
• 物理的パrameter最適化とドメインランダマイゼーションを通じて、プラットフォームは効果的なシミュレーションから現実への転送を可能にした。勾配ベースのシステム同定により、シミュレーションと現実のギャップを埋める可能性を秘めている。