[论文解读] Deep Reinforcement Learning with Relative Entropy Stochastic Search
该论文提出了一种深度强化学习方法，通过使用相对熵和熵正则化约束策略更新，稳定了策略学习，实现了高斯策略和二次Q函数下的闭式优化。该方法在连续控制任务中比DDPG和连续Q-learning具有更稳定的训练表现。
Many reinforcement learning methods for continuous control tasks are based on updating a policy function by maximizing an approximated action-value function or Q-function. However, the Q-function also depends on the policy and this dependency often leads to unstable policy learning. To overcome this issue, we propose a method that does not greedily exploit the Q-function. To do so, we upper-bound the Kullback-Leibler divergence of the new policy while maximizing the Q-function. Furthermore, we also lower-bound the entropy of the new policy to maintain its exploratory behavior. We show that by using a Gaussian policy and a Q-function that is quadratic in actions, we can solve the corresponding constrained optimization problem in a closed form. In addition, we show that our method can be regarded as a variant of the well-known deterministic policy gradient method. Through experiments, we evaluate the proposed method using a neural network as a function approximator and show that it gives more stable learning performance than the deep deterministic policy gradient method and the continuous Q-learning method.
研究动机与目标
- 解决深度强化学习中Q函数与策略之间相互依赖导致的策略学习不稳定性问题。
- 通过熵正则化保持探索行为，提升样本效率和收敛性。
- 在熵和相对熵约束下，为策略更新推导出闭式解。
- 为确定性策略梯度方法（如DDPG和连续Q-learning）提供一种稳定替代方案。
提出的方法
- 使用相对熵上界限制策略更新步长，确保策略改进过程的稳定性。
- 对策略熵施加下界，以保持探索行为并防止过早收敛。
- 假设策略为高斯分布，Q函数关于动作呈二次形式，以实现约束优化问题的解析求解。
- 推导出一种闭式策略更新规则，平衡Q函数最大化与熵和相对熵约束。
- 将该方法重新表述为确定性策略梯度的变体，将正则化整合到策略更新过程中。
- 使用神经网络函数逼近器分别实现Q函数网络和策略网络。
实验结果
研究问题
- RQ1相对熵约束能否在连续控制的深度强化学习中稳定策略学习？
- RQ2熵正则化如何影响策略优化的探索行为和收敛性？
- RQ3在高斯策略和二次Q函数的假设下，约束优化问题能否获得闭式解？
- RQ4与DDPG和连续Q-learning相比，所提方法在稳定性和性能上表现如何？
主要发现
- 所提方法在学习性能上比深度确定性策略梯度（DDPG）方法更稳定。
- 在连续控制基准测试中，该方法在训练稳定性和最终性能上均优于连续Q-learning。
- 在高斯策略和二次Q函数的假设下，推导出了闭式解。
- 相对熵与熵约束的整合带来了更平滑的策略更新，并减少了训练过程中的发散现象。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。