[论文解读] k-Means Maximum Entropy Exploration

Alexander Nedergaard, Matthew Cook|arXiv (Cornell University)|May 31, 2022

Neural dynamics and brain function被引用 4

一句话总结

本文提出k-Means最大熵探索（KME），一种计算高效的类人工好奇心算法，通过基于k-means的可观测状态访问熵的下界，实现在高维连续强化学习环境中的探索。该方法利用k-means进行非参数密度估计的理论结果来近似熵，在稀疏奖励基准测试中表现优异，尤其在标准强化学习无法找到奖励的情况下表现突出。

ABSTRACT

Exploration in high-dimensional, continuous spaces with sparse rewards is an open problem in reinforcement learning. Artificial curiosity algorithms address this by creating rewards that lead to exploration. Given a reinforcement learning algorithm capable of maximizing rewards, the problem reduces to finding an optimization objective consistent with exploration. Maximum entropy exploration uses the entropy of the state visitation distribution as such an objective. However, efficiently estimating the entropy of the state visitation distribution is challenging in high-dimensional, continuous spaces. We introduce an artificial curiosity algorithm based on lower bounding an approximation to the entropy of the state visitation distribution. The bound relies on a result we prove for non-parametric density estimation in arbitrary dimensions using k-means. We show that our approach is both computationally efficient and competitive on benchmarks for exploration in high-dimensional, continuous spaces, especially on tasks where reinforcement learning algorithms are unable to find rewards.

研究动机与目标

• 解决在具有稀疏外在奖励的高维连续强化学习环境中实现高效探索的挑战。
• 通过最大化状态访问分布的熵，提供一种原理清晰、数学基础扎实的内在好奇心方法。
• 克服使用标准非参数方法在高维空间中估计状态访问熵的计算不可行性。
• 开发一种实用算法，通过具有可证明理论基础的k-means聚类实现最大熵探索的近似。

提出的方法

• 提出一种新颖的下界，用于任意维度中状态访问分布熵的估计，基于k-means聚类。
• 推导出k-means聚类直径与密度估计之间的理论结果，证明在聚类数量趋于无穷时，平衡的Voronoi单元可产生一致的熵估计。
• 基于聚类直径的倒数和聚类数量构建内在奖励信号，以近似熵的下界。
• 采用k-means的一种实用变体，假设Voronoi图保持平衡，并用平方根函数替代熵中的对数项，以提升稳定性和效率。
• 将熵的下界用作强化学习循环中的内在奖励，以促进状态的均匀访问。
• 在连续控制基准任务上验证该方法，包括标准强化学习智能体无法发现稀疏奖励的环境。

实验结果

研究问题

• RQ1 k-means聚类能否在高维连续空间中提供一种可扩展且理论基础扎实的可观测状态访问熵的近似？
• RQ2 基于k-means聚类几何结构推导出的熵下界是否能在稀疏奖励强化学习任务中实现有效探索？
• RQ3 在高维环境中，所提出的k-Means最大熵探索（KME）方法与现有内在好奇心和计数基探索方法相比表现如何？
• RQ4 该方法在极高维任务（如Humanoid）中的实际局限性是什么？
• RQ5 通过结合表示学习或更优的聚类初始化策略，能否进一步改进该方法？

主要发现

• 所提出的k-Means最大熵探索（KME）方法在高维连续控制任务的探索基准测试中表现具有竞争力，尤其在标准强化学习智能体无法发现稀疏奖励的情境下表现优异。
• 由于采用k-means聚类和对熵下界进行稳定近似，该方法展现出计算高效性。
• 实验结果表明，熵估计在2D、4D和64D空间中能保持不同分布（如均匀分布、高斯混合分布、单高斯分布）的正确熵序，尽管在高维空间中收敛较慢。
• 该算法在Humanoid环境中难以找到奖励，表明其在极高维状态空间中存在局限性。
• 理论分析支持在理想化假设下熵近似的有效性，实证结果也表明该实用近似足以实现有效探索。
• 高维随机游走中收敛缓慢的原因在于聚类中心初始值设为零时效果不佳，可通过更优的初始化策略加以缓解。