[論文レビュー] Zero-Shot Skill Composition and Simulation-to-Real Transfer by Learning Task Representations

Zhanpeng He, Ryan Julian+6 more|arXiv (Cornell University)|Oct 4, 2018

Reinforcement Learning in Robotics参考文献 17被引用数 16

ひとこと要約

本論文では、モデル予測制御（MPC）を用いて連続的なタスク表現を学習し、ロボット工学におけるゼロショットスキル構成およびシミュレーションから実世界への転送を実現する手法を提案する。事前学習済みのシミュレーションポリシーを再利用することで、学習済みのスキル潜在変数の動的シーケンス計画を用いて、追加の現実世界での微調整なしに、未知のタスクに一般化可能な実ロボットの性能を達成する。描画やブロックプッシュなどのタスクにおいて、効果的な実世界性能を実現する。

ABSTRACT

Simulation-to-real transfer is an important strategy for making reinforcement learning practical with real robots. Successful sim-to-real transfer systems have difficulty producing policies which generalize across tasks, despite training for thousands of hours equivalent real robot time. To address this shortcoming, we present a novel approach to efficiently learning new robotic skills directly on a real robot, based on model-predictive control (MPC) and an algorithm for learning task representations. In short, we show how to reuse the simulation from the pre-training step of sim-to-real methods as a tool for foresight, allowing the sim-to-real policy adapt to unseen tasks. Rather than end-to-end learning policies for single tasks and attempting to transfer them, we first use simulation to simultaneously learn (1) a continuous parameterization (i.e. a skill embedding or latent) of task-appropriate primitive skills, and (2) a single policy for these skills which is conditioned on this representation. We then directly transfer our multi-skill policy to a real robot, and actuate the robot by choosing sequences of skill latents which actuate the policy, with each latent corresponding to a pre-learned primitive skill controller. We complete unseen tasks by choosing new sequences of skill latents to control the robot using MPC, where our MPC model is composed of the pre-trained skill policy executed in the simulation environment, run in parallel with the real robot. We discuss the background and principles of our method, detail its practical implementation, and evaluate its performance by using our method to train a real Sawyer Robot to achieve motion tasks such as drawing and block pushing.

研究の動機と目的

• 単一のタスクに特化したポリシーを学習する既存のシミュレーションから実世界への転送手法における一般化の欠如に対処すること。
• 追加の現実世界での微調整なしに、未知のタスクに一般化可能なマルチスキルポリシーを実ロボットにデプロイすること。
• 事前学習済みのシミュレーションポリシーをMPCベースのタスク計画のための予測モデルとして活用すること。
• 新しいタスク目標を達成するために組み合わせ可能な一般化を可能にする、連続的かつパrameter化されたタスク固有スキルの表現を開発すること。

提案手法

• 本手法は、シミュレーションデータを用いて、タスクに適した基本的スキルをパrameter化する連続的な潜在空間（スキル埋め込み）を学習する。
• 1つの共通ポリシーを、これらのスキル潜在変数を条件として学習し、複数のタスクをシミュレーションで実行可能にする。
• 実ロボットはMPCを用いて、各潜在変数が事前に学習済みの基本的コントローラに対応するスキル潜在変数のシーケンスを計画する。
• MPCモデルは、実ロボットと並行してシミュレーションで事前学習済みポリシーを実行し、リアルタイムの計画と適応を可能にする。
• 本システムは、シミュレーション環境を予測のためのダイナミクスモデルとして活用し、実行前にスキルシーケンスの結果を予測可能にする。
• ポリシーは直接実ロボットに転送され、未知のタスクに対して動的に選択されたスキル潜在変数のシーケンスを用いて実行される。

実験結果

リサーチクエスチョン

• RQ1 学習済みのタスク表現に条件付けられた1つのポリシーは、実世界の未知のロボットタスクに一般化可能か？
• RQ2 事前学習済みのシミュレーションポリシーを予測モデルとして用いたMPCは、リアルタイムのタスク計画においてどの程度効果的か？
• RQ3 連続的なタスク表現の潜在空間を用いて、ゼロショットでスキルの組み合わせが可能か？
• RQ4 現実世界での微調整なしに、シミュレーションを計画に再利用することで、シミュレーションから実世界への転送がどの程度向上するか？
• RQ5 本手法は、描画やブロックプッシュなどの多様な実世界タスクにおいて、どの程度の性能を発揮するか？

主な発見

• 本手法は、追加の現実世界でのポリシー学習なしに、実ロボットのSawyerで未知のタスクへのゼロショット転送を可能にした。
• 本システムは、事前学習済みのシミュレーションポリシーとMPCのみを用いて、描画やブロックプッシュのような複雑なタスクを正常に実行した。
• 連続的スキル潜在変数空間の使用により、基本的スキルの効果的な組み合わせが、新しいタスク目標の達成に寄与した。
• シミュレーションによる予測を活用したMPCベースの計画により、シミュレーションと実世界のドメインギャップにもかかわらず、安定したリアルタイム制御が実現された。
• 潜在空間の補間を用いることで、同じポリシーを多様なタスクシーケンスに再利用し、タスク間での一般化を達成した。