[論文レビュー] Curiosity Driven Exploration of Learned Disentangled Goal Spaces

Adrien Laversanne-Finot, Alexandre Péré+1 more|arXiv (Cornell University)|Jul 4, 2018

Reinforcement Learning in Robotics参考文献 29被引用数 54

ひとこと要約

本論文は、beta-VAEによって学習された分離されたゴール空間が好奇心主導の探索を高め、モジュール式探索を可能にし、設計された特徴と同等の性能を達成し、独立に制御可能な環境特徴を識別するのに役立つことを示している。

ABSTRACT

Intrinsically motivated goal exploration processes enable agents to autonomously sample goals to explore efficiently complex environments with high-dimensional continuous actions. They have been applied successfully to real world robots to discover repertoires of policies producing a wide diversity of effects. Often these algorithms relied on engineered goal spaces but it was recently shown that one can use deep representation learning algorithms to learn an adequate goal space in simple environments. However, in the case of more complex environments containing multiple objects or distractors, an efficient exploration requires that the structure of the goal space reflects the one of the environment. In this paper we show that using a disentangled goal space leads to better exploration performances than an entangled goal space. We further show that when the representation is disentangled, one can leverage it by sampling goals that maximize learning progress in a modular manner. Finally, we show that the measure of learning progress, used to drive curiosity-driven exploration, can be used simultaneously to discover abstract independently controllable features of the environment.

研究の動機と目的

• 高次元環境で制御可能なゴールを発見するようエージェントの生涯学習を促進する。
• 学習された分離表現がIMGEPsの探索効率を向上させるかを調査する。
• モジュラー探索が分離表現を活用して制御可能なオブジェクトに焦点を当て、妨害要因を無視できるかを検討する。
• 学習進捗信号が抽象的で独立して制御可能な特徴を明らかにできるかを評価する。
• 分離表現が手工的に設計されたゴール空間の性能に近づくかを評価する。

提案手法

• モジュール型ゴール空間を備えたIntrinsic Motivated Goal Exploration Processes (IMGEPs)を用いる。
• 手作業で作成されたゴール空間をbeta-VAEsまたはVAEsから得られた学習済み表現に置き換える。
• 潜在変数からゴールモジュールを形成する Modular Unsupervised Goal-space Learning (MUGL) を導入する。
• モジュールを潜在変数のサブセットとして定義し、モジュールごとにゴールをサンプリングして探索を推進する。
• 最も能力向上が見られるゴールに焦点を当てる学習進捗ベースのモジュールサンプリング方針を使用する。
• モジュール化された学習表現をランダムパラメータ探索および設計特徴に基づくベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 分離された学習ゴール表現は、絡み合った表現やランダム探索と比較してIMGEPsの探索効率を改善するか？
• RQ2 学習されたゴール空間を用いたモジュラー探索は、設計された低次元ゴール空間の性能に匹敵するか？
• RQ3 学習進捗信号は、学習された表現から独立して制御可能な特徴を識別できるか？
• RQ4 探索中に妨害要因を無視するうえで分離がどのように役立つか？

主な発見

• 分離表現は探索効率を向上させる。分離されたbeta-VAEゴールを持つIMGEPsは、絡み合った表現と比較してより少ない実験でより多くの状態を訪れる。
• 分離表現を用いたモジュラー探索は、設計された特徴を用いたモジュラー探索の性能に匹敵するか、あるいは近づく一方、絡み合った表現は性能を妨げる。
• 分離表現は、制御可能な特徴（例：ボールの位置）に対応するモジュールへ学習進捗を集中させ、妨害要因を無視できるようにする。
• モジュール方式からの学習進捗信号は、受動的表現学習とその後の能動的探索から出現する抽象的で独立して制御可能な特徴を識別するのに役立つ。
• VAEs単独は、分離がない場合は同様に効率的な探索に必要な構造化潜在空間を提供しない。
• 本手法は、分離とモジュール化されたゴール空間が高次元的な知覚環境において効率的でスケーラブルな探索を可能にすることを示している。