[論文レビュー] Geometric Entropic Exploration

Zhaohan Daniel Guo, Mohammad Gheshlaghi Azar+8 more|arXiv (Cornell University)|Jan 6, 2021

Robotic Path Planning Algorithms参考文献 47被引用数 8

ひとこと要約

この論文は、ノイズ対比推定の目的関数を用いて、状態訪問の幾何学的注意をもったシャノンエントロピーを最大化する、強化学習探索の新規アルゴリズムである幾何的エントロピー最大化（GEM）を紹介する。GEMは、同時にポリシーと幾何学的類似性関数を学習することで、離散的および連続的環境の両方で効果的な探索を可能にし、RND や NGU よりもスパarsely-rewarded タスクにおいて、より優れた状態カバレッジとサンプル効率を達成する。

ABSTRACT

Exploration is essential for solving complex Reinforcement Learning (RL) tasks. Maximum State-Visitation Entropy (MSVE) formulates the exploration problem as a well-defined policy optimization problem whose solution aims at visiting all states as uniformly as possible. This is in contrast to standard uncertainty-based approaches where exploration is transient and eventually vanishes. However, existing approaches to MSVE are theoretically justified only for discrete state-spaces as they are oblivious to the geometry of continuous domains. We address this challenge by introducing Geometric Entropy Maximisation (GEM), a new algorithm that maximises the geometry-aware Shannon entropy of state-visits in both discrete and continuous domains. Our key theoretical contribution is casting geometry-aware MSVE exploration as a tractable problem of optimising a simple and novel noise-contrastive objective function. In our experiments, we show the efficiency of GEM in solving several RL problems with sparse rewards, compared against other deep RL exploration approaches.

研究の動機と目的

• 既存の最大状態訪問エントロピー（MSVE）手法には、理論的に正当化されるのは離散的状態空間に限られ、連続ドメインにおける幾何学的構造を無視するという限界があることに対処する。
• 離散的および連続的状態空間の両方で均一な状態訪問を維持できる、実行可能で幾何学的注意をもった探索手法を開発する。
• 幾何学的注意エントロピー最大化における類似性関数の崩壊と、勾配推定の非実行性という課題に取り組む。
• 一元的な最適化目的関数を用いて、定常的かつ確率的なポリシーを学習することで、安定的かつ勾配が消えない探索を実現し、全状態空間をカバーする。
• 隣接正則化（AR）を統合し、学習された類似性関数が状態間の意味のある幾何学的関係を捉えるようにする。

提案手法

• GEM は、幾何学的注意 MSVE をノイズ対比推定（NCE）問題として定式化し、ポリシーと状態訪問分布の共同最適化に向けた実行可能でバイアスのない勾配推定を可能にする。
• 類似性関数 $k(x,x')$ を用いて、学習された類似性関数を用いて幾何学的注意シャノンエントロピーを最大化する、新規のノイズ対比目的関数を導入する。
• 類似性関数 $k$ は、隣接正則化（AR）により正則化され、時間的に近い状態が密に埋め込まれ、独立にサンプルされた状態が離れて埋め込まれるように促進される。
• GEM は、直接的なエントロピー最大化の非実行性を回避するため、一様な微分可能目的関数を用いてポリシーと類似性関数を同時に最適化する。
• 深層ニューラルネットワークアーキテクチャを用い、共有エンコーダ（トロス）、ポリシー、価値、類似性予測のための別々のヘッド、および順序処理のためのLSTMコアを備える。
• ハイパーパramータは環境ごとに調整され、重み減衰、学習率、内部報酬スケーリングが含まれ、Adam最適化法を用いて100,000ステップにわたり訓練が実施される。

実験結果

リサーチクエスチョン

• RQ1 幾何学的注意エントロピー最大化を、離散的および連続的状態空間の両方で実行可能な最適化問題として定式化できるか？
• RQ2 幾何学的構造を無視する退化した形に類似性関数 $k$ が崩壊しないように、どのようにして類似性関数を学習できるか？
• RQ3 提案されたノイズ対比目的関数は、スパarsely-rewarded 環境における安定的かつ効果的な探索を可能にするか？
• RQ4 GEM は、RND や NGU よりもサンプル効率および状態カバレッジにおいて優れているか？
• RQ5 AR 正則化は、非対称的または不可逆的遷移を示す環境においても、幾何学的構造を効果的に保持できるか？

主な発見

• GEM は、2-Rooms、16-Leaves、CartPole Swingup、Mountain Car といったスパarsely-rewarded 環境で最先端のパフォーマンスを達成し、RND や NGU よりもサンプル効率および最終パフォーマンスで優れている。
• GEM で学習された類似性関数は、幾何学的構造を効果的に捉えており、非対称な遷移環境ですら、埋め込み空間における状態構成の意味のあるクラスタリングによって裏付けられている。
• 2-Keys グリッドワールドでは、GEM はキーカラム状態とドア状態に基づいて状態を正しくグループ化し、異なる構成に対して明確に分離された埋め込みを示しており、幾何学的注意の有効性を示している。
• 隣接正則化（AR）部は、類似性関数の崩壊を防ぎ、時間的に近い状態が密に埋め込まれ、独立にサンプルされた状態が離れて埋め込まれるように保証する。
• GEM は、ボーナスが消えない安定的で一貫した探索行動を維持し、エピソード全体にわたり均一な状態訪問を実現する。
• 定量的結果では、GEM はすべての評価環境で RND や NGU よりも高い最終報酬とより速い学習曲線を達成しており、困難な探索タスクにおける成功確率において顕著な改善が見られた。