[论文解读] Action-depedent Control Variates for Policy Optimization via Stein's Identity

Hao Liu, Yihao Feng+4 more|arXiv (Cornell University)|Oct 30, 2017

Reinforcement Learning in Robotics被引用 18

一句话总结

本文提出了一种名为Stein控制变分（Stein control variates）的新方差缩减技术，用于策略梯度强化学习，该方法利用Stein恒等式构建与动作和状态相关的基线函数。通过在保持无偏梯度估计的同时实现更灵活、非线性的基线，该方法在多个连续控制环境中显著提升了样本效率，优于PPO和TRPO设置下的值函数基线与Q-prop方法。

ABSTRACT

Policy gradient methods have achieved remarkable successes in solving challenging reinforcement learning problems. However, it still often suffers from the large variance issue on policy gradient estimation, which leads to poor sample efficiency during training. In this work, we propose a control variate method to effectively reduce variance for policy gradient methods. Motivated by the Stein's identity, our method extends the previous control variate methods used in REINFORCE and advantage actor-critic by introducing more general action-dependent baseline functions. Empirical studies show that our method significantly improves the sample efficiency of the state-of-the-art policy gradient approaches.

研究动机与目标

• 解决深度强化学习中策略梯度估计方差过高导致的样本效率低下问题。
• 开发一种通用框架，用于构建在策略分布下具有零解析期望的、与动作和状态相关的控制变分。
• 通过允许更丰富的非线性基线函数，扩展现有控制变分方法（如REINFORCE、A2C和Q-prop）的表达能力。
• 通过方差缩减提升最先进策略优化算法（如PPO和TRPO）的样本效率。
• 提供一种基于理论的、利用Stein恒等式的稳健方法，该方法推广了先前的方法，同时保持无偏梯度估计。

提出的方法

• 利用Stein恒等式推导出在策略分布下期望为零的广泛函数类，从而生成有效的控制变分。
• 构建与动作和状态相关的基线函数，不受限于传统方法中线性或仅依赖状态的依赖关系。
• 结合重参数化技巧与Stein恒等式，实现可微且可扩展的梯度估计。
• 推导出一种通用的控制变分形式，允许基线函数任意依赖于状态和动作。
• 采用MinVar和FitQ等优化目标来学习基线函数参数，以最小化梯度估计的方差。
• 将Stein控制变分无缝集成到PPO和TRPO等策略优化算法中，且不引入偏差。

实验结果

研究问题

• RQ1 我们能否构建比现有方法更灵活、与动作和状态相关的控制变分，以进一步降低梯度方差？
• RQ2 与Q-prop或A2C等先前方法相比，Stein恒等式是否能生成更广泛的合法控制变分类？
• RQ3 Stein控制变分是否能在不依赖离策略数据的情况下提升策略优化的样本效率？
• RQ4 在使用Stein控制变分时，不同基线函数形式（如MLP、二次型、线性）的性能如何比较？
• RQ5 该方法是否能在多种连续控制环境中持续优于标准值函数基线和Q-prop？

主要发现

• Stein控制变分在多个环境中显著降低了梯度方差，提升了PPO和TRPO的样本效率。
• 在Humanoid-v1和HumanoidStandup-v1环境中，采用MinVar+MLP基线的PPO方法实现了3847 ± 249.3的平均回报，优于同一设置下值函数基线的128765 ± 13440。
• 在Hopper-v1和Walker2d-v1环境中，所有Stein控制变分变体（包括FitQ+Linear和MinVar+Linear）均优于Q-prop，尽管仅使用了在线策略数据。
• 二次型基线在策略训练中的表现低于预期，可能由于其收敛速度慢于MLP和线性基线。
• MinVar+MLP始终优于其他配置，表明其是该方法的稳健默认选择。
• 该方法在不同环境中泛化良好，在HalfCheetah-v1、Ant-v1等环境中持续优于原始PPO与值函数基线。