[論文レビュー] Learning to Manipulate Deformable Objects without Demonstrations

Yilin Wu, Wilson Yan+3 more|arXiv (Cornell University)|Oct 29, 2019

Robot Manipulation and Learning参考文献 68被引用数 18

ひとこと要約

本論文は、人間の示範なしに視覚的RGB観測に基づいて、布やロープのような変形可能な物体を操作するための条件付き強化学習フレームワークを提案する。ポリシー学習を分離することで、ランダムなピックポイントで配置ポリシーを学習し、配置の最大値（MVP）を用いてピッキングポリシーを推論することで、学習速度が10倍以上に向上し、実際のPR2ロボットに対しても成功裏に転送され、カバレッジタスクにおいてベースライン手法を上回った。

ABSTRACT

In this paper we tackle the problem of deformable object manipulation through model-free visual reinforcement learning (RL). In order to circumvent the sample inefficiency of RL, we propose two key ideas that accelerate learning. First, we propose an iterative pick-place action space that encodes the conditional relationship between picking and placing on deformable objects. The explicit structural encoding enables faster learning under complex object dynamics. Second, instead of jointly learning both the pick and the place locations, we only explicitly learn the placing policy conditioned on random pick points. Then, by selecting the pick point that has Maximal Value under Placing (MVP), we obtain our picking policy. This provides us with an informed picking policy during testing, while using only random pick points during training. Experimentally, this learning framework obtains an order of magnitude faster learning compared to independent action-spaces on our suite of deformable object manipulation tasks with visual RGB observations. Finally, using domain randomization, we transfer our policies to a real PR2 robot for challenging cloth and rope coverage tasks, and demonstrate significant improvements over standard RL techniques on average coverage.

研究の動機と目的

• モデルフリー強化学習における変形可能な物体操作のサンプル非効率性の課題に取り組む。
• 変形可能な物体に特有の複雑で非線形なダイナミクスと、標準的な状態表現の欠如という困難を克服する。
• 人間の示範なしに、生の視覚観測から効果的な操作ポリシーを学習する手法を開発する。
• ピックとプレースの条件付きアクション空間における「鶏と卵の問題」を、ピッキングとプレースポリシーの学習を分離することで解決する。
• ドメインランダマイゼーションと視覚的ポリシー推論を用いて、PR2ロボットにおけるポリシーの成功裏の実世界デプロイを可能にする。

提案手法

• ピックとプレースのアクションの依存関係を明示的にモデル化した反復的ピックプレースアクション空間を導入する。
• ピッキングポリシーとは分離して配置ポリシーを学習することで、訓練中にポリシーの崩壊を回避する。
• 推論段階では、学習済みの配置ポリシーの価値関数を用いて、最大配置値（MVP）により最適なピッキングポイントを推論する。
• 一般化を向上させ、シミュレーションで学習したポリシーをゼロショットで実世界タスクに転送するために、ドメインランダマイゼーションを適用する。
• MoveIt!の運動計画を用いたロボット座標へのピクセル座標のアクションを線形マッピングでキャリブレーションし、実ロボットへのデプロイを実現する。
• RGB画像から直接ポリシーを学習するために、視覚観測を用いたアクター・クリティックフレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 ピック・プレースの依存関係をモデル化した条件付きアクション空間は、変形可能な物体操作におけるサンプル効率を向上させるか？
• RQ2 ピッキングポリシーとは分離して配置ポリシーを学習することで、条件付き強化学習における「鶏と卵の問題」が緩和されるか？
• RQ3 最大配置値（MVP）戦略により、明示的な学習なしに高品質なピッキングポリシーを効果的に推論できるか？
• RQ4 ドメインランダマイゼーションを用いてシミュレーションで学習したポリシーは、多様な変形可能な物体の実世界操作に一般化できるか？
• RQ5 提案手法は、独立または結合アクションスペースのベースラインと比較して、実ロボットタスクで優れた性能を達成するか？

主な発見

• 提案手法は、視覚観測を用いた変形可能な物体操作タスクにおいて、独立したアクションスペースベースラインと比較して10倍以上に高速な学習を達成した。
• MVP戦略を用いてピッキングポリシーを推論することで、ランダムなピックポイントよりも著しく優れた性能が得られ、配置ポリシーがランダムなピックポイントで学習された場合でも同様に有効であった。
• 実際のPR2ロボットでは、MVPで学習したポリシーが布の広げタスクで平均84％のカバレッジを達成したのに対し、結合ポリシーのベースラインは32％にとどまった。
• ロープの広げタスクでは、MVPポリシーが48％のカバレッジを達成し、結合ポリシー（21％）と独立ポリシー（16％）を上回った。
• ドメインランダマイゼーションにより、1つのポリシーが異なる布の色や物理的性質に一般化でき、視覚的および物理的ドメインシフトに対して強い耐性を示した。
• 微調整なしに実世界に成功裏に転送されたことから、MVPとドメインランダマイゼーションを用いた視覚的ポリシー学習により、ゼロショットの実ロボットデプロイが可能であることが示された。