[论文解读] A Max-Min Entropy Framework for Reinforcement Learning

Seungyul Han, Youngchul Sung|arXiv (Cornell University)|Jun 19, 2021

Reinforcement Learning in Robotics参考文献 55被引用 5

一句话总结

本文提出了一种最大最小熵（MME）框架用于强化学习，通过聚焦于低熵状态并最大化其熵来增强探索能力，与标准最大熵强化学习倾向于高熵状态的做法形成对比。该方法通过解耦的演员-critic算法实现探索与利用的分离，在稀疏奖励和高维控制任务中显著优于SAC及其他最先进方法。

ABSTRACT

In this paper, we propose a max-min entropy framework for reinforcement learning (RL) to overcome the limitation of the soft actor-critic (SAC) algorithm implementing the maximum entropy RL in model-free sample-based learning. Whereas the maximum entropy RL guides learning for policies to reach states with high entropy in the future, the proposed max-min entropy framework aims to learn to visit states with low entropy and maximize the entropy of these low-entropy states to promote better exploration. For general Markov decision processes (MDPs), an efficient algorithm is constructed under the proposed max-min entropy framework based on disentanglement of exploration and exploitation. Numerical results show that the proposed algorithm yields drastic performance improvement over the current state-of-the-art RL algorithms.

研究动机与目标

• 解决最大熵强化学习在离策略函数逼近中的局限性，即正反馈回路会阻碍有效探索。
• 克服标准最大熵强化学习倾向于高熵状态的倾向，这可能会降低探索的多样性。
• 设计一种框架，通过最大化低熵状态的熵来促进公平探索，从而改善状态空间的覆盖范围。
• 在最大最小熵框架下设计一种实用的演员-critic算法，通过解耦探索与利用，提升复杂环境中的性能表现。
• 在具有挑战性的连续控制任务中展示优越性能，特别是在探索至关重要的稀疏奖励设置下。

提出的方法

• 提出一种最大最小熵目标，旨在最大化状态空间中熵最低的状态的熵，而非偏向高熵状态。
• 将MME目标形式化为对状态熵的极小化-极大化优化问题，其中策略被训练以最大化跨状态的最小熵。
• 通过解耦的演员-critic算法实现该框架，将用于探索的Q函数更新（聚焦于低熵状态）与用于策略更新的熵最大化分离。
• 使用改进的Q-learning更新方式，鼓励访问熵较低的状态，同时保持标准的软Q-learning更新以实现回报最大化。
• 引入双重优化机制：Q函数被优化以最小化访问状态的熵，而策略则被优化以最大化其自身的熵。
• 将该框架应用于纯探索和带奖励的环境，在密集奖励任务中采用解耦版本（DE-MME），以实现探索与回报目标的解耦。

实验结果

研究问题

• RQ1 最大最小熵框架能否在具有函数逼近的离策略深度强化学习中提升探索能力？
• RQ2 与最大熵强化学习相比，聚焦于低熵状态是否能带来更好的状态空间覆盖并减少正反馈回路？
• RQ3 在MME框架中解耦探索与利用是否能在密集奖励环境中带来更好的性能表现？
• RQ4 所提出的MME算法与SAC、DAC和RND等最先进方法相比，在稀疏奖励控制任务中的表现如何？
• RQ5 MME的性能提升在多大程度上源于探索能力的改进，而非其他因素？

主要发现

• 在DelayedHalfCheetah环境中，MME算法实现了3435.28 ± 39.55的最大平均回报，显著优于SAC（817.40 ± 253.54）及其他基线方法。
• 在SparseWalker2d任务中，MME实现了886.60 ± 25.77的回报，超越SAC（817.40 ± 253.54）和RND（705.30 ± 274.88），表明其在稀疏奖励设置下的强大性能。
• 解耦版本（DE-MME）在SparseAnt任务中实现了973.60 ± 12.55的回报，优于MME（953.70 ± 28.39）及其他所有方法，表明分离探索与利用具有显著优势。
• 在高维密集奖励任务（如HumanoidStandup）中，DE-MME实现了250,935.53 ± 49,386.43的回报，优于SAC（167,394.36 ± 7,291.99）和PPO（160,211.90 ± 3,268.37）。
• 消融实验确认，MME的性能提升主要源于预期的探索能力改进，符合最大最小熵设计的初衷。
• 该框架通过避免过度集中于高熵状态，减少了离策略学习中的正反馈现象，从而实现了更广泛且更公平的状态空间探索。