[論文レビュー] EMI: Exploration with Mutual Information

Hyoungseok Kim, Jaekyeom Kim+3 more|arXiv (Cornell University)|Oct 2, 2018

Music and Audio Processing被引用数 33

ひとこと要約

EMIは強化学習における報酬が疎な状況において、高次元の観測値の生成的復元を避けて、相互情報量推定を用いてコンパクトで予測可能な状態および行動表現を学習する、革新的な探索手法を提案する。埋め込み空間における線形ダイナミクスのモデル化により、EMIは報酬が疎なロボット走破やアタリゲームにおいて最先端の性能を達成し、ICM、RND、EX2などの手法を上回る。

ABSTRACT

Reinforcement learning algorithms struggle when the reward signal is very sparse. In these cases, naive random exploration methods essentially rely on a random walk to stumble onto a rewarding state. Recent works utilize intrinsic motivation to guide the exploration via generative models, predictive forward models, or discriminative modeling of novelty. We propose EMI, which is an exploration method that constructs embedding representation of states and actions that does not rely on generative decoding of the full observation but extracts predictive signals that can be used to guide exploration based on forward prediction in the representation space. Our experiments show competitive results on challenging locomotion tasks with continuous control and on image-based exploration tasks with discrete actions on Atari. The source code is available at https://github.com/snu-mllab/EMI .

研究の動機と目的

• ランダムな探索が報酬状態に到達できない報酬が疎な強化学習の課題に対処すること。
• 高次元の観測値の直接的生成を回避することで、計算負荷を低減する探索手法の開発。
• 効果的な前向き予測と新奇性検出を可能にする、コンパクトで予測可能な状態および行動表現の学習。
• 報酬が疎な環境において、連続的制御および画像ベースの環境の両方で頑健な探索を可能にすること。
• Montezuma's Revenge や SparseHalfCheetah といった困難な強化学習ベンチマークにおけるサンプル効率と最終的性能の向上。

提案手法

• EMIは、相互情報量の変分発散推定を用いて状態および行動埋め込みを学習し、観測値の生成的復元を回避する。
• 現在の状態および行動埋め込みが与えられたもとで、行動および次状態の表現における不確実性を最小限に抑える。
• 埋め込み空間に線形ダイナミクスモデルを導入し、予測可能な遷移を捉え、予測誤差をサプライズ信号として測定する。
• 訓練の安定化と表現品質の向上を目的として、行動埋め込み分布に正則化項を組み込む。
• 前向き予測誤差と埋め込み空間内の多様性の両方を組み合わせた探索戦略を採用し、新規状態への訪問を促進する。
• 目的関数には、情報量の増加とモデル誤差の項を含め、表現品質と予測精度のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 高次元の観測値の生成的モデリングを伴わずに、コンパクトな表現空間における相互情報量の最大化が、効果的な探索を可能にするか？
• RQ2 埋め込み空間に線形ダイナミクスを導入することで、報酬が疎な環境における探索性能がどのように向上するか？
• RQ3 行動埋め込み分布と状態埋め込み分布の正則化が、表現品質および学習安定性に与える影響は何か？
• RQ4 ICM、RND、EX2 といった最先端の内発的動機づけ手法と比較して、EMIは画像ベースおよび連続的制御タスクでどのように性能を発揮するか？
• RQ5 学習された埋め込み空間は、離散的および連続的行動の両方を効果的に扱えるか、かつ予測的有用性を維持できるか？

主な発見

• Montezuma's Revenge において、EMIは平均ヒューマン正規化スコア387を達成し、EX2（0）、ICM（161）、RND（377）、VIME（0）を上回り、報酬が疎な環境における優れた探索能力を示した。
• SparseHalfCheetah では、1億ステップで平均報酬218.1を達成し、ICM（1.4）、RND（3.4）、EX2（153.7）を著しく上回った。
• アブレーションスタディの結果、情報量の増加項を削除すると埋め込み空間が崩壊し、モデル誤差項を追加することで性能が著しく向上した。これは、安定性に与える重要性を示している。
• 行動埋め込み分布の正則化は表現品質を向上させたが、状態埋め込みの正則化は、非一様な状態訪問に起因して歪んだ、劣化した表現をもたらした。
• BoxImage環境では、EMIは正確にエージェントの位置と行動を反映する2次元の埋め込み空間を効果的に学習し、分離性と空間認識能力の両方を示した。
• EMIは、ロボット走破やアタリゲームを含む多様なタスクにおいて一貫した改善を示し、連続的および離散的行動空間の両方で一般化能力を確認した。