[论文解读] Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning

Shixiang Gu, Timothy Lillicrap+4 more|arXiv (Cornell University)|Jun 1, 2017

Reinforcement Learning in Robotics参考文献 29被引用 9

一句话总结

本文提出了插值策略梯度（IPG），这是一种统一框架，通过控制变量子方法将在线策略似然比梯度与离线策略确定性策略梯度相结合。通过使用可学习参数 ν 在这两种方法之间进行插值，IPG 实现了更高的样本效率和稳定性，在 OpenAI Gym 套件的连续控制基准测试中优于先前的最先进方法。

ABSTRACT

Off-policy model-free deep reinforcement learning methods using previously collected data can improve sample efficiency over on-policy policy gradient techniques. On the other hand, on-policy algorithms are often more stable and easier to use. This paper examines, both theoretically and empirically, approaches to merging on- and off-policy updates for deep reinforcement learning. Theoretical results show that off-policy updates with a value function estimator can be interpolated with on-policy policy gradient updates whilst still satisfying performance bounds. Our analysis uses control variate methods to produce a family of policy gradient algorithms, with several recently proposed algorithms being special cases of this family. We then provide an empirical comparison of these techniques with the remaining algorithmic details fixed, and show how different mixing of off-policy gradient estimates with on-policy samples contribute to improvements in empirical performance. The final algorithm provides a generalization and unification of existing deep policy gradient techniques, has theoretical guarantees on the bias introduced by off-policy updates, and improves on the state-of-the-art model-free deep RL methods on a number of OpenAI Gym continuous control benchmarks.

研究动机与目标

• 将在线策略与离线策略深度强化学习方法统一为一个单一且稳定的框架。
• 通过结合似然比方法与确定性梯度方法，降低策略梯度估计中的方差与偏差。
• 为统一算法族中离线更新引入的偏差提供理论边界。
• 在多个连续控制环境中，实证评估在线策略稳定性与离线策略样本效率之间的权衡。
• 证明混合方法在中间插值（ν ≈ 0.2）时性能优于纯在线或离线方法。

提出的方法

• 提出了一类参数化的策略梯度算法，通过控制变量方法在在线与离线策略更新之间进行插值。
• 使用混合参数 ν 来平衡在线策略似然比梯度与离线策略确定性策略梯度的贡献。
• 使用评论家网络估计 Q 值函数，作为控制变量以减少梯度方差。
• 当 ν = 1 时，在策略更新中应用信任区域约束，确保与 TRPO 或 Q-Prop 相似的稳定性。
• 推导出插值梯度估计器的偏差理论边界，表明其保持在可接受范围内。
• 使用回放缓冲区存储并重用离线策略转换，通过受控插值在保持稳定性的同时实现数据效率。

实验结果

研究问题

• RQ1 一个统一框架能否有效融合在线策略学习的稳定性与离线策略学习的数据效率？
• RQ2 通过插值引入离线策略更新的理论影响是什么？偏差是否可被控制？
• RQ3 插值参数 ν 的选择如何影响不同环境下的学习稳定性与样本效率？
• RQ4 将在线策略探索与离线策略学习相结合，是否能提升在具有挑战性的连续控制任务中的性能？
• RQ5 现有方法如 Q-Prop、ACER 和 PGQ 是否可被视为更一般插值框架中的特例？

主要发现

• 在 OpenAI Gym 连续控制基准测试中，IPG-ν=0.2 始终优于 Q-Prop、TRPO 和先前的演员-评论家方法。
• 在 Ant-v1 环境中，IPG-ν=1 的平均回报显著高于标准 DDPG，后者陷入次优策略。
• 当使用布朗运动噪声进行探索时，IPG-ν=1 性能急剧下降，支持了理论主张：高度偏离的策略产生的离线样本会引入过度偏差。
• IPG-ν=1 中使用信任区域提升了稳定性与性能，即使使用相同的探索噪声，也优于 DDPG，原因在于策略更新受到限制。
• 实证结果表明，ν 的中间值（如 ν = 0.2–0.4）性能最佳，表明偏差减少与数据效率之间存在权衡。
• 若干现有方法，包括 PGQ、ACER 和 Q-Prop，被证明是所提出的 IPG 框架的特例，展示了其统一能力。