[论文解读] Distributional Policy Optimization: An Alternative Approach for Continuous Control

Chen Tessler, Guy Tennenholtz+1 more|arXiv (Cornell University)|May 23, 2019

Reinforcement Learning in Robotics参考文献 36被引用 15

一句话总结

本文提出分布策略优化（DPO），一种用于连续控制的新框架，通过在动作空间中对任意分布而非参数族进行优化，绕过了策略梯度方法的局限性。该方法采用基于分位数回归和隐式分位数网络训练的生成式演员-评论家架构，在MuJoCo环境中实现了与最先进基线方法相当或更优的性能，且无需依赖显式密度梯度。

ABSTRACT

We identify a fundamental problem in policy gradient-based methods in continuous control. As policy gradient methods require the agent's underlying probability distribution, they limit policy representation to parametric distribution classes. We show that optimizing over such sets results in local movement in the action space and thus convergence to sub-optimal solutions. We suggest a novel distributional framework, able to represent arbitrary distribution functions over the continuous action space. Using this framework, we construct a generative scheme, trained using an off-policy actor-critic paradigm, which we call the Generative Actor Critic (GAC). Compared to policy gradient methods, GAC does not require knowledge of the underlying probability distribution, thereby overcoming these limitations. Empirical evaluation shows that our approach is comparable and often surpasses current state-of-the-art baselines in continuous domains.

研究动机与目标

• 解决策略梯度方法在连续控制中的根本局限性，即由于依赖参数化分布而被限制在局部改进。
• 克服参数化策略族（如高斯分布、贝塔分布）的非凸性，避免收敛至次优解。
• 开发一种分布框架，实现在连续动作空间中对任意分布进行优化，确保更广泛的策略探索。
• 设计一种生成式演员-评论家算法（GAC），在无需显式了解底层概率密度函数的情况下学习策略。
• 证明所提方法在连续控制基准测试中，性能可与最先进策略梯度方法及SAC-based方法相媲美或更优。

提出的方法

• 提出一种分布策略优化（DPO）框架，将策略视为动作上的分布，通过最小化分布间距离实现优化。
• 构建一个生成模型以表示策略为分布，利用离策略经验与分位数回归训练，以近似累积分布函数。
• 采用演员-评论家架构，其中评论家估计动作价值函数，优势函数用于定义偏好负优势动作的目标分布。
• 使用自回归隐式分位数网络（AIQN）建模生成策略，实现可微分采样与分布表示，无需显式密度计算。
• 通过最小化分位数回归损失训练生成策略，使预测分布与基于优势的动作选择导出的目标分布对齐。
• 将策略优化与显式对数概率梯度解耦，避免策略梯度方法固有的局部更新动态。

实验结果

研究问题

• RQ1 通过超越限制局部更新的参数化分布族，能否改进连续控制中的策略优化？
• RQ2 一种在动作空间中对任意分布进行优化的分布框架，是否能带来优于标准策略梯度方法的收敛性与性能？
• RQ3 一种通过分位数回归与隐式密度建模训练的生成式演员-评论家方法，能否在连续控制任务中超越现有最先进方法？
• RQ4 所提方法在非凸连续控制问题中，能在多大程度上缓解策略梯度方法的次优收敛问题？
• RQ5 所提方法的计算复杂度与标准策略梯度方法及SAC-based方法相比如何？是否可进一步优化以适用于实际部署？

主要发现

• 所提出的生成式演员-评论家（GAC）方法在MuJoCo连续控制基准测试中，性能可与最先进策略梯度方法及SAC-based基线方法相媲美或更优。
• 通过在任意分布而非参数族上进行优化，GAC避免了策略梯度方法固有的局部改进陷阱，后者受限于高斯或贝塔等分布的非凸性。
• 该方法无需显式计算策略的概率密度函数，从而支持更灵活、更全局的策略更新。
• 尽管理论性质更优，GAC的计算复杂度仍高于标准策略梯度方法，主要源于生成建模与分位数回归组件。
• 该框架与现有改进技术（如信任区域优化与熵正则化）兼容，表明其有潜力与Soft Actor-Critic等算法集成。
• 实证结果表明，GAC能有效探索复杂且非凸的动作空间，并在不依赖混合模型中常见数值不稳定性的情况下实现稳定学习。