[論文レビュー] k-Means Maximum Entropy Exploration

Alexander Nedergaard, Matthew Cook|arXiv (Cornell University)|May 31, 2022

Neural dynamics and brain function被引用数 4

ひとこと要約

本稿では、k-meansに基づく状態訪問エントロピーの下界を用いて、高次元で連続的な強化学習環境における探索を可能にする計算的に効率的な人工的好奇心アルゴリズム、k-Means Maximum Entropy Exploration (KME) を提案する。この手法は、k-meansによる非パrametric密度推定に関する理論的結果を活用してエントロピーを近似し、特に標準的なRLが報酬に到達できないようなスパarsely-rewardedベンチマークで優れた性能を示す。

ABSTRACT

Exploration in high-dimensional, continuous spaces with sparse rewards is an open problem in reinforcement learning. Artificial curiosity algorithms address this by creating rewards that lead to exploration. Given a reinforcement learning algorithm capable of maximizing rewards, the problem reduces to finding an optimization objective consistent with exploration. Maximum entropy exploration uses the entropy of the state visitation distribution as such an objective. However, efficiently estimating the entropy of the state visitation distribution is challenging in high-dimensional, continuous spaces. We introduce an artificial curiosity algorithm based on lower bounding an approximation to the entropy of the state visitation distribution. The bound relies on a result we prove for non-parametric density estimation in arbitrary dimensions using k-means. We show that our approach is both computationally efficient and competitive on benchmarks for exploration in high-dimensional, continuous spaces, especially on tasks where reinforcement learning algorithms are unable to find rewards.

研究の動機と目的

• 高次元で連続的な強化学習環境において、スパarsely extrinsic rewardが与えられる状況での効率的探索の課題に対処すること。
• 状態訪問分布のエントロピーを最大化することによって、原理的で数学的に裏付けられた内在的好奇心のアプローチを提供すること。
• 標準的な非パrametric手法を用いた高次元における状態訪問エントロピーの推定が計算的に非現実的であるという問題を克服すること。
• 理論的根拠が明確に保証されたk-meansクラスタリングを用いて最大エントロピー探索を近似する実用的なアルゴリズムの開発

提案手法

• 任意の次元におけるk-meansクラスタリングを用いて、状態訪問分布のエントロピーに対する新たな下界を提案する。
• k-meansクラスタの直径と密度推定との間の理論的関係を導出し、無限に多くのクラスタが存在する極限において、バランスの取れたボロノイ細胞が一貫したエントロピー推定をもたらすことを証明する。
• クラスタの直径の逆数とクラスタ数に基づく内在的報酬信号を構築し、エントロピー下界を近似する。
• バランスの取れたボロノイ図を仮定するk-meansの実用的変種を用い、エントロピーにおける対数項を平方根に置き換えることで安定性と効率性を向上させる。
• エントロピー下界を強化学習ループ内の内在的報酬として用い、均一な状態訪問を促進する。
• 連続的制御ベンチマーク上でこの手法を検証し、標準的なRLエージェントがスパarsely-rewardedな報酬に到達できない環境でも有効であることを示す。

実験結果

リサーチクエスチョン

• RQ1 k-meansクラスタリングは、高次元連続空間における状態訪問エントロピーのスケーラブルで理論的根拠を持つ近似を提供できるか？
• RQ2 k-meansクラスタの幾何学的性質から導かれるエントロピー下界は、スパarsely-rewardedな強化学習タスクにおける効果的な探索をもたらすか？
• RQ3 提案されたk-Means Maximum Entropy Exploration (KME) 法は、高次元環境における既存の内在的好奇心やカウントベースの探索手法と比較してどのように性能を発揮するか？
• RQ4 Humanoidのような非常に高次元のタスクにおいて、この手法の実用的限界は何か？
• RQ5 表現学習やより優れたクラスタ初期化戦略を組み合わせることで、この手法を改善できるか？

主な発見

• 提案されたk-Means Maximum Entropy Exploration (KME) 法は、特に標準的なRLエージェントがスパarsely-rewardedな報酬に到達できない状況においても、高次元連続制御タスクの探索ベンチマークで競争力のある性能を達成する。
• k-meansクラスタリングと安定したエントロピー下界の近似を用いることで、計算効率が高まっている。
• 実験的結果から、2D、4D、64Dにおいて一様分布、ガウス混合、ガウス分布などの異なる分布において、エントロピー推定が正しいエントロピー順序を保持していることが示されたが、高次元では収束が遅い。
• Humanoid環境では報酬の発見に失敗しており、非常に高次元の状態空間における限界が示された。
• 理論的分析により、理想化された仮定の下でエントロピー近似の妥当性が裏付けられており、実験的結果から実用的な近似が効果的な探索に十分であることが示唆されている。
• 高次元ランダムウォークにおける収束の遅さは、初期クラスタ中心がゼロに設定されていることが原因であり、より優れた初期化戦略により緩和可能である。