[论文解读] A Closer Look at Deep Policy Gradients

Andrew Ilyas, Logan Engstrom+5 more|arXiv (Cornell University)|Nov 6, 2018

Reinforcement Learning in Robotics参考文献 25被引用 27

一句话总结

本文对深度策略梯度方法（PPO 和 TRPO）进行了细致分析，揭示了关键组件——梯度估计、价值预测和优化景观——往往与理论预期存在显著偏差。尽管奖励有所提升，梯度估计与真实梯度的相关性却较差，价值网络无法准确建模真实价值函数，且代理目标函数未能正确反映真实奖励景观，暴露出深度强化学习中理论与实践之间存在关键差距。

ABSTRACT

We study how the behavior of deep policy gradient algorithms reflects the conceptual framework motivating their development. To this end, we propose a fine-grained analysis of state-of-the-art methods based on key elements of this framework: gradient estimation, value prediction, and optimization landscapes. Our results show that the behavior of deep policy gradient algorithms often deviates from what their motivating framework would predict: the surrogate objective does not match the true reward landscape, learned value estimators fail to fit the true value function, and gradient estimates poorly correlate with the "true" gradient. The mismatch between predicted and empirical behavior we uncover highlights our poor understanding of current methods, and indicates the need to move beyond current benchmark-centric evaluation methods.

研究动机与目标

• 探究最先进深度策略梯度算法在多大程度上反映了其设计背后的概念框架。
• 评估核心组件（梯度估计、价值预测和优化景观）相对于理论预期的保真度。
• 挑战当前以基准为中心的评估方式是否足以捕捉算法行为与可靠性。
• 识别理论基础与深度强化学习实际性能之间的系统性错配。
• 倡导从以基准为导向的评估转向多维度、机制层面的深度强化学习算法评估。

提出的方法

• 通过计算训练步骤和不同样本规模下估计梯度与真实期望梯度之间的余弦相似度，实证测量其相关性。
• 在轨迹数据上训练价值网络，并使用监督学习指标将其预测结果与真实价值函数进行比较。
• 使用自举法置信区间评估在多个随机种子下梯度估计的方差。
• 在 MuJoCo Humanoid-v2 环境中可视化并比较代理目标景观与真实奖励景观。
• 将价值网络作为基线，与真实价值函数和零基线对比，评估其在减少梯度方差方面的效果。
• 分析训练进度和任务复杂度对梯度估计质量及其与真实梯度相关性的影响。

实验结果

研究问题

• RQ1 在深度策略梯度方法中，梯度估计与真实梯度的相关性在多大程度上成立？这种相关性如何随训练过程变化？
• RQ2 在深度强化学习环境中，通过监督学习训练的价值网络在多大程度上能近似真实价值函数？
• RQ3 与使用真实价值函数相比，使用价值网络作为基线在减少梯度方差方面的有效性如何？
• RQ4 在实践中，代理目标函数在多大程度上能反映真实的奖励景观？
• RQ5 为何尽管理论假设与实际行为存在显著偏差，深度策略梯度算法仍能取得成功？

主要发现

• 即使智能体的奖励表现持续提升，策略更新中使用的梯度估计与真实梯度的相关性仍较差，且随着训练进程和任务复杂度的增加，这种相关性进一步下降。
• 在典型样本规模（如约 2,000 个样本）下，梯度估计的方差依然很高，表明当前采样方案不足以实现稳定的梯度估计。
• 价值网络虽能成功完成其监督学习任务，却无法拟合真实价值函数，表明其训练目标与真实价值预测之间存在根本性脱节。
• 尽管使用价值网络作为基线相比零基线显著提升了智能体性能，但其在减少梯度方差方面仅带来微弱改善，与使用真实价值函数相比效果有限。
• 代理目标函数的优化景观常无法正确反映真实奖励景观，后期训练阶段甚至出现代理目标提升而真实奖励下降的现象。
• 更准确的梯度估计虽然更精确，但可能需要更低的学习率，甚至可能引发退化智能体行为，表明梯度质量的影响具有非单调性和非直观性。