[論文レビュー] Simultaneously Learning Vision and Feature-based Control Policies for Real-world Ball-in-a-Cup

Devin Schwab, Jost Tobias Springenberg+8 more|arXiv (Cornell University)|Feb 13, 2019

Advanced Vision and Imaging被引用数 6

ひとこと要約

本論文では、実機ロボット上で視覚ベースと特徴ベースの制御方策を同時に学習するためのマルチタスク強化学習手法を提案する。タスク固有の状態空間を持つ補助タスクを用いることで学習を加速し、方策間で特徴を共有し、訓練時における低コストの特徴を活用することで、実機上でボールインアーカップタスクを完全にエンドツーエンドで学習し、約28時間で100%のキャッチ率を達成した。模倣学習やシミュレーションからの転移を一切用いない。

ABSTRACT

We present a method for fast training of vision based control policies on real robots. The key idea behind our method is to perform multi-task Reinforcement Learning with auxiliary tasks that differ not only in the reward to be optimized but also in the state-space in which they operate. In particular, we allow auxiliary task policies to utilize task features that are available only at training-time. This allows for fast learning of auxiliary policies, which subsequently generate good data for training the main, vision-based control policies. This method can be seen as an extension of the Scheduled Auxiliary Control (SAC-X) framework. We demonstrate the efficacy of our method by using both a simulated and real-world Ball-in-a-Cup game controlled by a robot arm. In simulation, our approach leads to significant learning speed-ups when compared to standard SAC-X. On the real robot we show that the task can be learned from-scratch, i.e., with no transfer from simulation and no imitation learning. Videos of our learned policies running on the real robot can be found at https://sites.google.com/view/rss-2019-sawyer-bic/.

研究の動機と目的

• 実世界のロボットにおける視覚ベース制御方策の高速かつサンプル効率の良い学習を可能にすること。
• タスク固有の状態空間を持つ補助タスクを用いることで、限られた実世界データの課題を克服すること。
• 模倣学習やシミュレーションから実世界への転移を一切用いずに、視覚ベース方策を完全にスクラッチから学習すること。
• 特徴ベース方策が共有表現を通じて視覚ベース方策の学習を支援できることを示すこと。
• 最終的な方策を、リアルタイムのトラッキングを必要としない、生のカメラ画像とプロ prioceptionのみでデプロイ可能にする。

提案手法

• 主タスクと補助タスクで異なる状態空間を許容できるように、Scheduled Auxiliary Control (SAC-X) フレームワークを拡張する。
• 視覚ベースと特徴ベース方策が隠れ層を共有する共通のニューラルネットワークアーキテクチャを採用し、知識の転送を可能にする。
• 訓練時でのみ利用可能な高次元状態空間（例：物体の位置）を扱う補助タスクを導入する。
• 補助タスクの報酬を形状化することで、学習の加速とデータ効率の向上を図る。
• 異なる状態表現を持つ複数のタスクに対して学習を安定化させるために、非対称なアクタークリティック訓練を適用する。
• 視覚モダリティと特徴モダリティの間でスパarsな報酬と形状報酬を組み合わせたマルチタスク損失関数を用いて、方策を共同で学習する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の状態空間を持つ補助タスクは、実機ロボット上での視覚ベース制御方策の学習を顕著に加速できるか？
• RQ2 特徴ベース方策を用いることで、実世界RLにおける視覚ベース方策のサンプル効率と最終的パフォーマンスが向上するか？
• RQ3 模倣学習やシミュレーションから実世界への転移を一切用いずに、視覚ベース方策を実機ハードウェア上でスクラッチから学習できるか？
• RQ4 意図的に無意味な補助タスクを含めることで、学習の安定性と収束にどのような影響を与えるか？
• RQ5 視覚ベースと特徴ベース方策の間で共有される表現が、データ効率と方策一般化にどの程度向上効果をもたらすか？

主な発見

• 実機上での300回の評価エピソードにおいて、100%のキャッチ率を達成し、平均キャッチ時間は2.39秒であった。
• 最終的な視覚ベース方策は、模倣学習やシミュレーションデータを一切用いずに、実世界での学習を約28時間でスクラッチから実施した。
• 意図的に無意味な補助タスクを含めても、学習パフォーマンスは安定しており、補助タスクの選択に対して頑健であることが示された。
• 補助タスクに形状報酬を導入することで、実機上での訓練速度とデータ効率が顕著に向上した。
• ノイズの多いセンサーや不完全な視覚データを伴う実機上でも、特徴ベースおよび視覚ベース方策の学習曲線は約5,000エピソードで収束した。
• 最終的な方策は、生のカメラ画像とプロ prioceptionのみで正常に動作し、最小限のセンサ要件でデプロイ可能であることを実証した。