[論文レビュー] GRIMGEP: Learning Progress for Robust Goal Sampling in Visual Deep Reinforcement Learning

Grgur Kovač, Adrien Laversanne-Finot+1 more|arXiv (Cornell University)|Aug 10, 2020

Reinforcement Learning in Robotics参考文献 34被引用数 7

ひとこと要約

GRIMGEPは、視覚的深層強化学習における学習進捗（ALP）とノベルティベース探索を組み合わせる新しいフレームワークを導入し、クラスタリングを用いてゴールのサンプリングをガイドする。学習進捗が著しい領域を優先し、そのクラスタ内でノベルティ探索を適用することで、ノイズが多く学習不可能なゴール（例：点滅するテレビ）からの干渉を低減し、複雑な3D画像ベースの環境におけるサンプル効率と最終的パフォーマンスを顕著に向上させる。

ABSTRACT

Designing agents, capable of learning autonomously a wide range of skills is critical in order to increase the scope of reinforcement learning. It will both increase the diversity of learned skills and reduce the burden of manually designing reward functions for each skill. Self-supervised agents, setting their own goals, and trying to maximize the diversity of those goals have shown great promise towards this end. However, a currently known limitation of agents trying to maximize the diversity of sampled goals is that they tend to get attracted to noise or more generally to parts of the environments that cannot be controlled (distractors). When agents have access to predefined goal features or expert knowledge, absolute Learning Progress (ALP) provides a way to distinguish between regions that can be controlled and those that cannot. However, those methods often fall short when the agents are only provided with raw sensory inputs such as images. In this work we extend those concepts to unsupervised image-based goal exploration. We propose a framework that allows agents to autonomously identify and ignore noisy distracting regions while searching for novelty in the learnable regions to both improve overall performance and avoid catastrophic forgetting. Our framework can be combined with any state-of-the-art novelty seeking goal exploration approaches. We construct a rich 3D image based environment with distractors. Experiments on this environment show that agents using our framework successfully identify interesting regions of the environment, resulting in drastically improved performances. The source code is available at https://sites.google.com/view/grimgep.

研究の動機と目的

• ノベルティベース手法が失敗する、雑音源を含む複雑な画像ベース環境におけるゴール探索の課題に対処すること。
• 高次元の観測が直接適用を複雑にする視覚的DRLにおいて、学習進捗（ALP）に基づくカリキュラム学習を拡張すること。
• ALPに基づく上位レベルのカリキュラムを通じて、ノベルティベース探索アルゴリズムのロバスト性とサンプル効率を向上させること。
• ALPドリブンの領域選択とノベルティベースのゴールサンプリングを組み合わせることで、単独の手法に比べて優れたパフォーマンスを達成できることを示すこと。

提案手法

• GRIMGEPは、潜在表現に基づいて視覚的観測空間を領域に分割するクラスタリングVAEを用いる。
• 各クラスタ内で学習進捗（LP）を推定し、エージェントが現在最も学習している領域を特定する。
• 高い学習進捗を示すクラスタをゴールサンプリングの対象として選択することで、学習可能で情報量の多いタスクに焦点を当てる。
• 選択された各クラスタ内で、ノベルティベース探索（SkewfitまたはCountBased）を適用してゴールをサンプリングし、有望な領域における多様性を確保する。
• クラスタリングVAEのオンライン学習とGMMベースのクラスタ選択を実装し、ハイパーパrameterはAICを用いて調整する。
• 既存のIMGEPとシームレスに統合され、環境の関連性が高く学習可能な領域へ探索を誘導する事前知識として機能する。

実験結果

リサーチクエスチョン

• RQ1 アクションによって誘発される雑音源（例：点滅するテレビ）が存在する状況下で、現在のノベルティベースゴール探索アルゴリズム（Skewfit、CountBased）はどのように振る舞うか？
• RQ2 学習進捗（ALP）に基づくカリキュラムは、画像ベースDRLにおけるノベルティベース探索のロバスト性とパフォーマンスを向上させられるか？
• RQ3 ALPによってガイドされるGRIMGEPのクラスタ選択メカニズムは、均一なクラスタサンプリングと比較して、探索効率と最終的パフォーマンスにおいてどの程度優れているか？
• RQ4 ALPとノベルティ探索を統合することで、学習不可能で迷惑なゴールへの引きつけをどの程度低減できるか？

主な発見

• GRIMGEPは、雑音源が豊富なテレビルームからのゴールのサンプリング割合を顕著に低減し、意味のあるスキルが学習されるオブジェクトルームに焦点を当てるようになった。
• GRIM-SkewfitとGRIM-CountBasedは、元の手法と比較して顕著に高い最終的パフォーマンス（例：オブジェクトルームゴールで80％の成功率）を達成したが、元の手法はテレビにほとんど引きつけられていた。
• GRIMGEP内でのOnlineRIG（均一サンプリング）を用いた場合、パフォーマンスは向上したが依然として最適でなく、ALPのガイドのみでは内部探索のインcentiveがなければ不十分であることが示された。
• アブレーションスタディにより、ALPベースのクラスタサンプリングが均一なクラスタサンプリングを上回ることが確認され、前者は顕著に高い成功率とより一貫性のあるオブジェクトルームの探索を達成した。
• フレームワークは、エキスパート知識や密度の高い報酬設計がなくても、関連性があり学習可能な環境の領域を正しく検出し、優先順位を付けることに成功した。
• GRIMGEPは、エージェントが学習不可能なタスクを回避し、学習進捗が最も高い領域に焦点を当てる、複雑で適応可能なカリキュラムを自律的に構築可能にした。