[論文レビュー] Addressing Sample Complexity in Visual Tasks Using HER and Hallucinatory GANs

Himanshu Sahni, Toby Buckley+2 more|arXiv (Cornell University)|Jan 31, 2019

Reinforcement Learning in Robotics参考文献 38被引用数 7

ひとこと要約

この論文では、失敗したトラジェクトリに視覚的ゴールを想起させることで、視覚的環境における後向き経験再生（HER）を可能にする生成モデルHALGANを提案する。少数のゴールスナップショットを用いて、エージェントの観測を後から変更することで、3Dナビゲーションおよびロボットタスクにおけるサンプル効率の良い強化学習を実現し、ベースラインと比較して著しく学習を高速化する。

ABSTRACT

Reinforcement Learning (RL) algorithms typically require millions of environment interactions to learn successful policies in sparse reward settings. Hindsight Experience Replay (HER) was introduced as a technique to increase sample efficiency by reimagining unsuccessful trajectories as successful ones by altering the originally intended goals. However, it cannot be directly applied to visual environments where goal states are often characterized by the presence of distinct visual features. In this work, we show how visual trajectories can be hallucinated to appear successful by altering agent observations using a generative model trained on relatively few snapshots of the goal. We then use this model in combination with HER to train RL agents in visual settings. We validate our approach on 3D navigation tasks and a simulated robotics application and show marked improvement over baselines derived from previous work.

研究の動機と目的

• 視覚的特徴によって定義されるゴールを有する視覚的環境に、HERを拡張することで、視覚的強化学習における高いサンプル複雑性を解決すること。
• 観測の想起によって失敗したトラジェクトリを成功したものに後から変換することで、スパarsely報酬が与えられる視覚的タスクにおける効率的な学習を可能にすること。
• 多数のゴール設定データに依存することを最小限に抑えるために、わずかなアノテート済みゴールスナップショットでの学習に依存する生成モデルを構築すること。
• 想起されたゴールが、3Dナビゲーションおよびシミュレーテッドロボティクスにおける高速なポリシー学習に有効な密集報酬信号を提供できることを実証すること。

提案手法

• HALGANは、エージェントがゴールに対して相対的位置にある様子を示す少量のアノテート済み画像を学習データとして用い、失敗したトラジェクトリにおけるゴール状態を現実的に想起する条件付き生成モデルである。
• モデルは、エージェントの観測を、ゴールが達成されたかのように見えるように変更することで、エージェント-ゴールの相対ポーズを空間的条件として用いた画像対画像変換を実行する。
• HERはHALGANと組み合わせられ、後向きにゴールを再割り当てする。この際、想起されたゴール画像を用いて、オフポリシー学習中に密集報酬を生成する。
• 距離ベースの報酬を計算するために、VAEベースの報酬関数が用いられ、観測状態と想起されたゴール画像との間の距離に基づいた報酬が算出され、環境の報酬スケールに一致するようにスケーリングされる。
• エージェントの状態と相対ゴール位置を条件として用いることで、視覚的に妥当で時間的に整合性のある想起を可能にする。
• HALGANの学習データは、スパarselyアノテートされたロールアウトによって収集され、RL学習中に微調整されることで、想起の正確性が向上する。

実験結果

リサーチクエスチョン

• RQ1 ゴールが状態座標ではなく視覚的外観によって定義される視覚的環境において、後向き経験再生（HER）を効果的に拡張できるか？
• RQ2 少数のゴールスナップショットで学習された生成モデルが、失敗したトラジェクトリにおけるゴール状態を効果的に想起し、密集で意味のある報酬信号を生成できるか？
• RQ3 視覚的観測においてゴールを想起することで、標準的なRLおよび先行するHERバージョンと比較して、より速く、よりサンプル効率の良いポリシー学習が達成できるか？
• RQ4 この手法の性能は、想起モデルのトレーニングデータサイズに対してどれほど感受的か？

主な発見

• HALGAN+HERエージェントは視覚的ナビゲーションタスクで即座に学習を開始するが、標準的なDQNおよびDDPGエージェントは数百万ステップにわたり報酬信号を示さない。
• ミニワールド連続制御環境では、HALGANエージェントのみがタスクを正常に学習し、DDPGおよびナイーブHERは報酬信号の欠如により完全に失敗する。
• HALGANエージェントは、VAEベースの密集報酬を用いるが、想起された状態とゴール到達の関連付けに失敗するVAE-HERベースラインを上回る。
• たとえ1,000枚のトレーニング画像しか使用しなくても、HALGANは強い性能を維持し、学習速度の低下が最小限に抑えられ、効果的な想起に必要なデータ量が少ないことが示された。
• 状態画像のみを入力として用いることで、複数のゴールに迅速に一般化可能であり、推論時における明示的なゴール状態の監視を不要にする。
• この手法はトレーニングデータサイズの変動に対して頑健であり、rig-の距離ベース報酬などの他の報酬形状技術と組み合わせることでさらなる改善が可能である。