[论文解读] Entropy Regularization with Discounted Future State Distribution in Policy Gradient Methods

Riashat Islam, Raihan Seraj+2 more|arXiv (Cornell University)|Dec 11, 2019

Reinforcement Learning in Robotics参考文献 28被引用 7

一句话总结

本文提出了一种新颖的策略梯度方法，通过正则化折扣未来状态分布的熵来增强探索能力，采用在三时间尺度框架下训练的神经密度估计器。该方法提升了状态空间的覆盖范围和样本效率，在 HalfCheetah 和 Hopper 等连续控制基准任务上表现出更快的学习速度和更优的性能。

ABSTRACT

The policy gradient theorem is defined based on an objective with respect to the initial distribution over states. In the discounted case, this results in policies that are optimal for one distribution over initial states, but may not be uniformly optimal for others, no matter where the agent starts from. Furthermore, to obtain unbiased gradient estimates, the starting point of the policy gradient estimator requires sampling states from a normalized discounted weighting of states. However, the difficulty of estimating the normalized discounted weighting of states, or the stationary state distribution, is quite well-known. Additionally, the large sample complexity of policy gradient methods is often attributed to insufficient exploration, and to remedy this, it is often assumed that the restart distribution provides sufficient exploration in these algorithms. In this work, we propose exploration in policy gradient methods based on maximizing entropy of the discounted future state distribution. The key contribution of our work includes providing a practically feasible algorithm to estimate the normalized discounted weighting of states, i.e, the extit{discounted future state distribution}. We propose that exploration can be achieved by entropy regularization with the discounted state distribution in policy gradients, where a metric for maximal coverage of the state space can be based on the entropy of the induced state distribution. The proposed approach can be considered as a three time-scale algorithm and under some mild technical conditions, we prove its convergence to a locally optimal policy. Experimentally, we demonstrate usefulness of regularization with the discounted future state distribution in terms of increased state space coverage and faster learning on a range of complex tasks.

研究动机与目标

• 解决现有策略梯度方法在稀疏奖励或高维环境下的状态空间覆盖不均的问题。
• 克服在策略优化中估计折扣状态分布或平稳状态分布的实际不可行性。
• 开发一种显式正则化策略以最大化折扣未来状态分布的熵，促进更广泛的探索。
• 为结合策略学习、价值函数估计和状态分布密度估计的三时间尺度算法提供收敛性证明。
• 在标准连续控制基准任务上验证所提方法的有效性，特别是在状态空间探索至关重要的环境中。

提出的方法

• 引入一个神经密度估计器，将策略参数 θ 映射到折扣未来状态分布 dπθ(s) 的估计值，从而实现对状态占据情况的可微分估计。
• 使用变分推断训练密度估计器，通过最大化观测状态在策略诱导分布下的对数似然的下界。
• 设计一种三时间尺度算法，其中策略、价值函数和密度估计器以不同速率更新，以确保学习的稳定性。
• 将估计的折扣状态分布的熵作为正则化项整合到策略梯度目标中，以鼓励探索。
• 确保密度估计器显式依赖于策略参数 θ，使正则化项可微分且可端到端训练。
• 利用估计的状态分布熵作为状态空间覆盖的代理指标，直接优化以实现最大探索。

实验结果

研究问题

• RQ1 基于折扣未来状态分布的熵正则化是否能改善策略梯度方法中的探索？
• RQ2 在实践中，是否可行通过可学习的密度模型估计折扣未来状态分布？
• RQ3 使用折扣状态分布的熵正则化策略优化是否能带来更快的收敛速度和更高的样本效率？
• RQ4 与标准的动作空间熵正则化方法（如 SAC）相比，所提方法在状态空间覆盖和性能方面表现如何？
• RQ5 在温和的技术条件下，所提出的三时间尺度算法是否能收敛到局部最优策略？

主要发现

• 所提方法在 HalfCheetah-v1 和 Hopper-v1 等连续控制任务上显著提升了学习速度和最终性能，尤其在状态空间探索至关重要的环境中表现突出。
• 当正则化系数 λ = 0.1 时，该方法在 10 个随机种子下均一致优于基线方法 DDPG 和 SAC，表现出良好的鲁棒性和可复现性。
• 折扣未来状态分布的熵可作为状态空间覆盖的强代理指标，最大化该熵能带来更均匀且广泛的可观测状态分布。
• 在温和技术条件下，该方法能收敛到局部最优策略，理论分析基于三时间尺度算法框架。
• 实验表明，密度估计器能有效捕捉折扣状态分布的结构，使这一理论上有吸引力的正则化项具备实际可用性。
• 消融研究证实，当 λ 被适当调优时，状态分布熵正则化器效果最佳，而在极端值下收益递减。