[論文レビュー] Visual Reinforcement Learning with Imagined Goals

Ashvin Nair, Vitchyr H. Pong+4 more|arXiv (Cornell University)|Jul 12, 2018

Reinforcement Learning in Robotics参考文献 30被引用数 181

ひとこと要約

本論文は RIG を提示します。オフポリシー強化学習と教師なし潜在表現、想像された目標、および遡及的な目標リラベリングを組み合わせることにより、生の画像からゴール条件付き方策を学習し、ユーザー指定の画像ゴールを達成します。

ABSTRACT

For an autonomous agent to fulfill a wide range of user-specified goals at test time, it must be able to learn broadly applicable and general-purpose skill repertoires. Furthermore, to provide the requisite level of generality, these skills must handle raw sensory input such as images. In this paper, we propose an algorithm that acquires such general-purpose skills by combining unsupervised representation learning and reinforcement learning of goal-conditioned policies. Since the particular goals that might be required at test-time are not known in advance, the agent performs a self-supervised "practice" phase where it imagines goals and attempts to achieve them. We learn a visual representation with three distinct purposes: sampling goals for self-supervised practice, providing a structured transformation of raw sensory inputs, and computing a reward signal for goal reaching. We also propose a retroactive goal relabeling scheme to further improve the sample-efficiency of our method. Our off-policy algorithm is efficient enough to learn policies that operate on raw image observations and goals for a real-world robotic system, and substantially outperforms prior techniques.

研究の動機と目的

• 真の報酬や状態を用いず、生の画像観測上で動作する汎用のゴール条件付きRLフレームワークを開発する。
• ゴールサンプリング・状態エンコーディング・報酬整形を促進する構造化された潜在表現を学習する。
• トレーニング中のサンプル効率を向上させるための自己教師付きのゴール想像とリラベルを有効にする。
• 可変数の物体数や実世界のロボット操作タスクへのスケーラビリティをデモンストレーションする。

提案手法

• 観察とゴールの潜在表現を学習するために beta-VAE を訓練する。
• 状態とゴールを潜在空間に埋め込み、潜在空間ポリシー pi(z, z_g) を用いてゴール条件付きQ関数 Q(z, a, z_g) を訓練する。
• 潜在距離を成形報酬として用いる r = -||z - z_g||、真の状態報酬なしで視覚ベースの制御を可能にする。
• VAE prior からゴールをサンプルし、自己教師付き実践を促進し、経験をリラベルする（潜在ゴールリラベリング）ことでデータ効率を改善する。
• オフポリシーTD3風の学習を適用し、表現の整合性を高めるため訓練中にVAEを微調整することもある。
• 事前サンプルと未来状態リラベリングの混合を用いてデータ効率を最大化する。

実験結果

リサーチクエスチョン

• RQ1 真の状態や報酬信号なしに、画像から直接ビジョンベースのゴール条件付き方策を学習できるか？
• RQ2 潜在表現はビジョンベースのRLにおけるゴールサンプリング、報酬整形、サンプル効率にどう影響するか？
• RQ3 このアプローチは可変数の物体を伴うタスクにスケールし、実世界のロボット操作へ移行できるか？
• RQ4 異なるゴールリラベリング戦略が学習効率に与える影響はどれほどか？

主な発見

• RIG はシミュレートされた画像ベースのタスクで、従来のビジョンベースのゴール条件付きRL手法を大幅に上回る。
• 潜在空間報酬（潜在空間の距離）は、学習においてピクセルMSEやMahalanobis距離よりも適切な形状の信号を提供する。
• リラベリングは潜在ゴールサンプルと未来状態戦略の混合が最良のサンプル効率をもたらす。
• 入力表現を変更せずに、可変数量の物体シナリオに対応する。
• RIG は現実世界の Sawyer ロボットで、視覚的な到達と押引タスクにおいて控えめなデータ量で競争力のある性能を達成する。