[論文レビュー] Closing the Sim2Real Gap in Dynamic Cloth Manipulation.

Julius Hietala, David Blanco–Mulero+2 more|arXiv (Cornell University)|Sep 10, 2021

3D Shape Modeling and Analysis参考文献 21被引用数 5

ひとこと要約

本論文では、シミュレーション内での視覚フィードバックと物性値のランダム化を用いたゼロショット強化学習アプローチを提案し、微調整を必要とせずに実世界の布の操作に一般化可能なポリシーを実現する。この手法により、視覚観測のみを用いてシミュレーションで訓練されたポリシーを実世界のタスクにそのまま転送することができる。

ABSTRACT

Cloth manipulation is a challenging task due to the many degrees of freedom and properties of the material affecting the dynamics of the cloth. The nonlinear dynamics of the cloth have particularly strong significance in dynamic cloth manipulation, where some parts of the cloth are not directly controllable. In this paper, we present a novel approach for solving dynamic cloth manipulation by training policies using reinforcement learning (RL) in simulation and transferring the learned policies to the real world in a zero-shot manner. The proposed method uses visual feedback and material property randomization in a physics simulator to achieve generalization in the real world. Experimental results show that using only visual feedback is enough for the policies to learn the dynamic manipulation task in a way that transfers from simulation to the real world. In addition, the randomization of the dynamics in simulation enables capturing the behavior of a variety of cloths in the real world.

研究の動機と目的

• 非線形的ダイナミクスと高次元の自由度が制御を複雑にする動的布操作におけるシミュレーションから実世界へのギャップを解消すること。
• 実世界での微調整を一切行わず、シミュレーションから実世界へのポリシー転送を可能にすること。
• 視覚フィードバックのみで、複雑な布のダイナミクスに対する有効なポリシー学習が可能かどうかを調査すること。
• 物性値のランダム化が、多様な実世界の布の挙動を模倣する上で効果的であるかどうかを評価すること。

提案手法

• 状態やポーズの教師信号に依存せず、視覚フィードバックのみを用いて物理シミュレータ内で強化学習によるポリシーを訓練する。
• ロバストネスと一般化性能を向上させるために、シミュレーション内で物性値（例：剛性、摩擦係数）をランダム化する。
• 高精度な変形と相互作用を再現するため、微分可能物理エンジンを用いて現実的な布のダイナミクスをシミュレートする。
• ポリシー学習を所望の布の配置に誘導するため、視覚観測の差異に基づいた報酬関数を設計する。
• 訓練中に照明、テクスチャ、物性値の変動を模倣するため、ドメインランダマイゼーション技術を採用する。

実験結果

リサーチクエスチョン

• RQ1 視覚フィードバックのみで、シミュレーション内での動的布操作に対する有効なポリシー学習が可能か？
• RQ2 シミュレーション内での物性値のランダム化が、実世界の布操作へのゼロショット転送を改善するか？
• RQ3 シミュレーションで訓練されたポリシーが、多様な実世界の布の種類にどの程度一般化できるか？
• RQ4 状態やポーズの教師信号が欠如している場合、シミュレーションから実世界への転送におけるポリシー性能にどのような影響を与えるか？

主な発見

• 視覚フィードバックのみで訓練されたポリシーが、ゼロショットの形で実世界に成功裏に転送された。
• 物性値のランダム化が、さまざまな実世界の布の種類への一般化を顕著に向上させた。
• 実世界での微調整を一切必要とせず、多様な布の動的操作が達成された。
• 実世界の展開において、布の剛性、摩擦、テクスチャの変動に対しても、本アプローチはロバストであることが示された。