[論文レビュー] RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real

Kanishka Rao, C.J. Harris+4 more|arXiv (Cornell University)|Jun 16, 2020

Reinforcement Learning in Robotics参考文献 31被引用数 14

ひとこと要約

本論文では、ドメイン変換におけるQ値の不変性を強制することで、シミュレーションから現実世界への視覚ベース強化学習の転移を向上させる、タスクに適応した画像変換手法RL-CycleGANを提案する。CycleGANフレームワークにRLシーン一貫性損失を統合することで、タスクに関連する視覚的意味を保持しつつ、シミュレートされた画像を現実的なものに変換する。わずか5,000エピソードの現実世界データで、最先端の現実世界での grasping 実行性能を達成し、94%の成功率を記録した。

ABSTRACT

Deep neural network based reinforcement learning (RL) can learn appropriate visual representations for complex tasks like vision-based robotic grasping without the need for manually engineering or prior learning a perception system. However, data for RL is collected via running an agent in the desired environment, and for applications like robotics, running a robot in the real world may be extremely costly and time consuming. Simulated training offers an appealing alternative, but ensuring that policies trained in simulation can transfer effectively into the real world requires additional machinery. Simulations may not match reality, and typically bridging the simulation-to-reality gap requires domain knowledge and task-specific engineering. We can automate this process by employing generative models to translate simulated images into realistic ones. However, this sort of translation is typically task-agnostic, in that the translated images may not preserve all features that are relevant to the task. In this paper, we introduce the RL-scene consistency loss for image translation, which ensures that the translation operation is invariant with respect to the Q-values associated with the image. This allows us to learn a task-aware translation. Incorporating this loss into unsupervised domain translation, we obtain RL-CycleGAN, a new approach for simulation-to-real-world transfer for reinforcement learning. In evaluations of RL-CycleGAN on two vision-based robotics grasping tasks, we show that RL-CycleGAN offers a substantial improvement over a number of prior methods for sim-to-real transfer, attaining excellent real-world performance with only a modest number of real-world observations.

研究の動機と目的

• タスク固有の設計や大量の現実世界データ収集を必要とせずに、視覚ベース強化学習におけるシミュレーションから現実へのギャップを解消すること。
• 強化学習ポリシーの性能に不可欠な特徴を保持しつつ、シミュレートされた画像を現実的なものに自動的に変換する手法を開発すること。
• Q値の不変性に基づくタスクに適応した損失関数を導入することで、ドメインランダマイゼーションや手動による特徴工学の依存度を低減すること。
• オンポリシーの現実世界ロールアウトを必要とせず、オフポリシーの現実世界データとシミュレートデータのみを用いて、効果的なポリシー転送を可能にすること。

提案手法

• 状態のQ値がCycleGANによる画像変換操作に対して不変であることを強制する、RLシーン一貫性損失を導入する。
• この損失を標準的なCycleGANの学習目的と組み合わせ、シミュレートされた画像を現実的なものに変換する生成モデルを同時に学習する。
• 強化学習ポリシーから事前学習されたQ関数を用いて、画像変換プロセスを監視し、タスクに関連する特徴が保持されることを保証する。
• サイクル一貫性を用いて、入力画像と変換後画像の間の構造的・意味的整合性を維持し、モード崩壊を防ぐ。
• トレーニング中にオンポリシーの現実世界ロールアウトを必要とせず、オフポリシーの現実世界経験とシミュレートデータに基づいてGANを学習する。
• 学習済みの変換モデルを、ポリシー学習中のシミュレート観測に適用することで、シミュレーション内でのエンドツーエンドのポリシー学習と現実世界への一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の特徴を手動で設計する必要がなく、タスクに適応したドメイン変換手法をシミュレーションから現実への転送に適用できるか。
• RQ2 画像変換におけるQ値の不変性が、シミュレーションから現実への転送においてタスクに関連する視覚的意味を保持する有効なシグナルとなるか。
• RQ3 RL-CycleGANは、視覚ベースロボットグリップの高いパフォーマンスを達成するために必要な現実世界エピソード数をどの程度削減できるか。
• RQ4 GraspGAN や RCAN といった先行手法と比較して、RL-CycleGAN は現実世界でのパフォーマンスとデータ効率の面で優れているか。

主な発見

• わずか5,000の現実世界エピソードで、RL-CycleGANはロボット1で75%のグリップ成功率を達成。これは、580,000の現実世界エピソードを必要としていたベースラインが87%に到達するのと比較して優れている。
• ロボット2では、3,000の現実世界エピソードでシングルビングリップで72%の成功率を達成。これは、80,000の現実世界エピソードを必要としていたベースラインがたった36%にとどまるのと比較して顕著に優れている。
• 80,000の現実世界エピソードで、シングルビングリップでは95%、マルチビングリップでは93%の成功率を達成し、最先端のパフォーマンスと同等またはそれを上回った。
• 10,000の現実世界エピソードでオンポリシーのファインチューニングを実施した後、RL-CycleGANは94%のグリップ成功率に到達。これはRCANのパフォーマンスと同等だが、RCANが28,000のオフポリシー現実世界エピソードを必要としているのに対し、RL-CycleGANはわずか5,000のエピソードで達成した。
• オフポリシー5,000エピソードとオンポリシー5,000エピソードを組み合わせた場合、RL-CycleGANは90%のグリップ成功率を達成。ドメインランダマイゼーションを用いずとも、RCANと同等の性能を示し、高いデータ効率を実現した。
• オンポリシーのファインチューニングを組み合わせた場合、ゼロショット転送で70%の成功率を達成。これはドメインランダマイゼーション単体よりも優れた性能を示した。