[论文解读] Expected Policy Gradients for Reinforcement Learning

Kamil Ciosek, Shimon Whiteson|arXiv (Cornell University)|Jan 10, 2018

Reinforcement Learning in Robotics参考文献 56被引用 21

一句话总结

本文提出了期望策略梯度（Expected Policy Gradients, EPG），这是一种统一框架，通过在梯度估计过程中对动作进行积分，将随机策略和确定性策略梯度方法统一起来。EPG 在不依赖确定性策略的情况下降低了梯度方差，在连续控制基准测试中取得了最先进性能，并提供了一个涵盖现有方法的通用策略梯度定理。

ABSTRACT

We propose expected policy gradients (EPG), which unify stochastic policy gradients (SPG) and deterministic policy gradients (DPG) for reinforcement learning. Inspired by expected sarsa, EPG integrates (or sums) across actions when estimating the gradient, instead of relying only on the action in the sampled trajectory. For continuous action spaces, we first derive a practical result for Gaussian policies and quadratic critics and then extend it to a universal analytical method, covering a broad class of actors and critics, including Gaussian, exponential families, and policies with bounded support. For Gaussian policies, we introduce an exploration method that uses covariance proportional to the matrix exponential of the scaled Hessian of the critic with respect to the actions. For discrete action spaces, we derive a variant of EPG based on softmax policies. We also establish a new general policy gradient theorem, of which the stochastic and deterministic policy gradient theorems are special cases. Furthermore, we prove that EPG reduces the variance of the gradient estimates without requiring deterministic policies and with little computational overhead. Finally, we provide an extensive experimental evaluation of EPG and show that it outperforms existing approaches on multiple challenging control domains.

研究动机与目标

• 在单一通用框架下统一随机策略和确定性策略梯度方法。
• 在不依赖确定性策略的情况下降低策略学习中的梯度方差。
• 开发一种适用于多样化策略和评论家架构的通用分析性策略梯度估计方法。
• 提供理论基础，提出一个新的通用策略梯度定理。
• 在具有挑战性的控制环境中实证验证 EPG 的优越性。

提出的方法

• EPG 通过将评论家对动作的梯度与所有动作进行积分，而非依赖单个采样动作，计算所有动作上的期望梯度。
• 对于高斯策略和二次评论家，EPG 利用评论家 Hessian 矩阵的缩放矩阵指数，推导出闭式表达式。
• 通过解析积分，该方法可扩展至指数族策略和有界支撑策略。
• 提出一种新型探索策略，其中协方差与评论家 Hessian 矩阵的矩阵指数成正比，促进有信息量的探索。
• 对于离散动作，EPG 通过 Softmax 策略和期望值积分进行适配。
• 推导出一个通用策略梯度定理，表明 SPG 和 DPG 均为 EPG 的特例。

实验结果

研究问题

• RQ1 能否开发一种统一的策略梯度框架，涵盖随机和确定性策略梯度？
• RQ2 能否通过期望梯度估计在不依赖确定性策略的情况下降低策略学习的方差？
• RQ3 如何将解析积分应用于广泛类别的策略和评论家架构？
• RQ4 基于 Hessian 的协方差缩放对探索和学习效率有何影响？
• RQ5 EPG 是否在具有挑战性的连续控制任务中优于现有策略梯度方法？

主要发现

• 与标准策略梯度方法相比，EPG 显著降低了梯度方差，即使在使用随机策略时亦然。
• 该方法在多个连续控制基准测试中取得了最先进性能，包括 MuJoCo 环境。
• 对于高斯策略，基于 Hessian 的探索策略可实现更快收敛和更高的样本效率。
• 理论框架将 SPG 和 DPG 统一于单一通用策略梯度定理之下。
• EPG 在保持低计算开销的同时，实现了在多样化环境中的稳定性能提升。
• 实证结果证实，EPG 在样本效率和最终性能方面均优于基线方法。