[論文レビュー] Sim-to-Real Reinforcement Learning for Deformable Object Manipulation

Jan Matas, Stephen James+1 more|arXiv (Cornell University)|Jun 20, 2018

Robot Manipulation and Learning参考文献 24被引用数 101

ひとこと要約

この研究は、変形物体の操作ポリシー（布）を完全にシミュレーション内でドメイン乱数化を用いて強化学習する拡張DDPGフレームワークで学習し、それを追加の訓練なしで実世界へ転送し、3つのタスクで成功を示す。

ABSTRACT

We have seen much recent progress in rigid object manipulation, but interaction with deformable objects has notably lagged behind. Due to the large configuration space of deformable objects, solutions using traditional modelling approaches require significant engineering work. Perhaps then, bypassing the need for explicit modelling and instead learning the control in an end-to-end manner serves as a better approach? Despite the growing interest in the use of end-to-end robot learning approaches, only a small amount of work has focused on their applicability to deformable object manipulation. Moreover, due to the large amount of data needed to learn these end-to-end solutions, an emerging trend is to learn control policies in simulation and then transfer them over to the real world. To-date, no work has explored whether it is possible to learn and transfer deformable object policies. We believe that if sim-to-real methods are to be employed further, then it should be possible to learn to interact with a wide variety of objects, and not only rigid objects. In this work, we use a combination of state-of-the-art deep reinforcement learning algorithms to solve the problem of manipulating deformable objects (specifically cloth). We evaluate our approach on three tasks --- folding a towel up to a mark, folding a face towel diagonally, and draping a piece of cloth over a hanger. Our agents are fully trained in simulation with domain randomisation, and then successfully deployed in the real world without having seen any real deformable objects.

研究の動機と目的

• 変形物体の操作を、剛体操作を超える挑戦として動機づける。
• 布タスクのための完全にシミュレーションされたRLパイプラインを、最小限の報酬設計で開発する。
• ドメイン乱数化を介して変形物体ポリシーのsim-to-real転送を可能にする。
• 複数の布操作タスクで評価し、転送性能を分析する。

提案手法

• デモンストレーションと複数の拡張を含む改良された Deep Deterministic Policy Gradients (DDPG) フレームワークを用いて、連続制御ポリシーを学習する。
• スパース報酬構造を用いて、シミュレーションで3つの変形物体タスク（テープ折り、ぶら下げ、対角線折り畳み）を訓練する。
• DDPGfDによるデモンストレーションと、Q-filter、N-stepリターン、TD3風のターゲットによる行動クローンを組み込み、学習を安定化させる。
• テクスチャ、色、照明、ジオメトリ、カメラパラメータにドメイン乱数化を適用して、sim-to-real転送を可能にする。
• アクターが高次元のRGB観測を用い、クリティックが低次元の状態情報を用いる非対称のアクター-クリティック設定を利用する。
• 補助的な予測損失を用いて、布の角、テープの位置、ハンガーの位置など、重要なシーン特徴をネットワークが認識できるようにする。
• 追加の実世界トレーニングなしで、低コストカメラを用いた実機 Kinova Mico アームへの転送を評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン乱数化を用いたエンドツーエンドRLは、実物の物体を用いた追加トレーニングなしに、シミュレーションから実世界へ変形物体操作ポリシーを転送できるか？
• RQ2 スパース報酬下で布操作の学習を最も効果的に促進する、デモンストレーション、N-stepリターン、BC、TD3風ターゲットなどのRL改善は何か？
• RQ3 布タスクにおけるドメイン乱数化設定は、sim-to-real転送にどう影響するか？
• RQ4 布操作の学習ポリシーを実世界で実行する際の主な失敗モードは何か？
• RQ5 転送性能を制限する要因は何か、そしてそれらをどう緩和できるか？

主な発見

Task	Sim Success Rate (Table 1)	Real-World Metrics (Table 2 context)
Diagonal Folding	90%	Notable gripper success and not-crumpled/not-crumpled related metrics; full success 46.6% in Hanging; 40-90% range for intermediate metrics across tasks

• ドメイン乱数化を用いたシミュレーションで訓練後、3つの実機-シミュレータ間転送タスクを達成した。
• シミュレーションでは、統合手法は diagonal folding で 90%、 hanging で 77%、 tape folding で 86%（成功率）に達した。
• 実世界の試験では、グラブ、 near-tape または drape の目標で顕著な成功を収め、タスクごとに全成功は異なる（例： Hanging の実世界での全成功 46.6%、タスク全体で中間指標の40-90%程度）。
• 補助的予測、行動クローン、デモンストレーション優先度は性能に好影響を与えた； reset-to-demonstration と低次元アクター入力の除去はあまり有益でなかった。
• 過度の乱数化は転送性能を妨げる可能性がある；カメラ乱数化は成功する sim-to-real転送には不可欠である；深度知覚の制限と布のばらつきのため、正確な把 grasp が依然として主要な失敗モードである。
• このアプローチは、エンドツーエンドRLとドメイン乱数化を用いた変形物体のsim-to-real転送が現実可能であることを示し、変形物体操作の研究におけるギャップを埋める。