[论文解读] Marginal Policy Gradients: A Unified Family of Estimators for Bounded Action Spaces with Applications

Carson Eisenach, Haichuan Yang+2 more|arXiv (Cornell University)|Jun 13, 2018

Reinforcement Learning in Robotics参考文献 30被引用 5

一句话总结

本文提出了角度策略梯度（APG），一种针对有界动作空间中方向控制的方差缩减策略梯度估计器——尤其适用于动作为单位向量的即时战略游戏。APG 属于统一的边际策略梯度（MPG）家族，通过在单位球面上建模策略并应用变换 T(a) = a/||a|| 来减少梯度方差，在导航任务和《王者荣耀》1v1 对战中均优于标准策略梯度方法。

ABSTRACT

Many complex domains, such as robotics control and real-time strategy (RTS) games, require an agent to learn a continuous control. In the former, an agent learns a policy over $\mathbb{R}^d$ and in the latter, over a discrete set of actions each of which is parametrized by a continuous parameter. Such problems are naturally solved using policy based reinforcement learning (RL) methods, but unfortunately these often suffer from high variance leading to instability and slow convergence. Unnecessary variance is introduced whenever policies over bounded action spaces are modeled using distributions with unbounded support by applying a transformation $T$ to the sampled action before execution in the environment. Recently, the variance reduced clipped action policy gradient (CAPG) was introduced for actions in bounded intervals, but to date no variance reduced methods exist when the action is a direction, something often seen in RTS games. To this end we introduce the angular policy gradient (APG), a stochastic policy gradient method for directional control. With the marginal policy gradients family of estimators we present a unified analysis of the variance reduction properties of APG and CAPG; our results provide a stronger guarantee than existing analyses for CAPG. Experimental results on a popular RTS game and a navigation task show that the APG estimator offers a substantial improvement over the standard policy gradient.

研究动机与目标

• 解决当动作被限制在有界空间（如即时战略游戏中单位球面）时策略梯度方法中高方差的问题。
• 构建一个统一的框架，用于方差缩减的策略梯度估计，适用于区间有界动作和方向性动作。
• 为边际策略梯度（MPG）家族提供方差缩减的理论保证，扩展先前关于裁剪动作策略梯度（CAPG）的工作。
• 在具有方向性动作空间的复杂环境中验证 APG 的有效性，包括一款多人在线战术竞技场（MOBA）游戏和一个导航任务。
• 实现在参数化动作空间中稳定且样本高效的训练，其中动作由球面上的连续参数定义。

提出的方法

• 提出边际策略梯度（MPG）家族，一个统一的估计器类别，通过使用确定性变换 T 将策略建模于变换后的动作空间中，从而推广 CAPG 和 APG。
• 设计用于方向控制的角度策略梯度（APG）估计器，其中动作为单位向量（例如移动或攻击方向），使用冯·米塞斯分布对单位球面上的策略进行建模。
• 应用变换 T(a) = a/||a|| 将无约束动作映射到单位球面，确保有效动作保持有界并符合环境需求。
• 通过利用在变换 T 下动作的边缘分布，推导出无偏且方差缩减的策略梯度估计器，从而实现在高方差环境中的稳定学习。
• 将 APG 与标准深度强化学习框架（如 A3C、TRPO 和 PPO）集成，支持与价值函数近似和广义优势估计的兼容。
• 使用线性势函数进行奖励塑形，特征来源于游戏状态（如英雄生命值、水晶生命值），以改善信用分配和训练稳定性。

实验结果

研究问题

• RQ1 能否构建一个统一的方差缩减策略梯度估计器家族，以同时处理有界区间动作和方向性（球面）动作？
• RQ2 在方向性控制任务中，角度策略梯度（APG）相较于标准策略梯度在收敛速度和最终性能方面表现如何？
• RQ3 在存在动作变换的环境中，边际策略梯度框架相较于标准策略梯度方法，能在多大程度上降低梯度方差？
• RQ4 MPG 框架是否相较于现有方法（如 CAPG）提供了更强的理论方差缩减保证？
• RQ5 在复杂、高维的环境（如 MOBA 游戏和连续控制任务）中，APG 是否能实现更优的样本效率和训练稳定性？

主要发现

• 在 Platform2D-v1 导航任务中，角度策略梯度（APG）估计器相比标准策略梯度，实现了显著更快的收敛速度和更高的最终累积折扣奖励。
• 在《王者荣耀》1v1 MOBA 游戏中，APG 智能体的胜率和累积奖励均显著高于标准策略梯度基线。
• 在初始化和收敛阶段，边际策略梯度估计器的方差约为标准策略梯度估计器的一半，验证了理论方差缩减的假设。
• 即使在价值函数估计不准确（训练初期）时，APG 估计器的方差仍低于标准方法，表明其对评论家误差具有鲁棒性。
• APG 方法成功处理了周期性动作空间（如方向性移动），而标准高斯策略配合归一化会引入高方差和偏差。
• 理论分析确认，APG 和 CAPG 均为边际策略梯度家族的特例，且其方差缩减保证强于先前分析。