[论文解读] Are Deep Policy Gradient Algorithms Truly Policy Gradient Algorithms

Andrew Ilyas, Logan Engstrom+5 more|arXiv (Cornell University)|Nov 6, 2018

Reinforcement Learning in Robotics参考文献 1被引用 34

一句话总结

本文研究了深度策略梯度算法是否真正遵循其理论框架。通过细致分析梯度估计、价值预测和优化景观，揭示了显著的不匹配：代理目标与奖励景观偏离，价值估计器未能拟合真实价值函数，梯度估计与真实梯度的相关性差——表明当前深度强化学习方法在理论与实践之间存在根本性差距。

ABSTRACT

We study how the behavior of deep policy gradient algorithms reflects the conceptual framework motivating their development. To this end, we propose a fine-grained analysis of state-of-the-art methods based on key elements of this framework: gradient estimation, value prediction, and optimization landscapes. Our results show that the behavior of deep policy gradient algorithms often deviates from what their motivating framework would predict: the surrogate objective does not match the reward landscape, learned value estimators fail to fit the value function, and gradient estimates poorly correlate with the true gradient. The mismatch between predicted and empirical behavior we uncover highlights our poor understanding of current methods, and indicates the need to move beyond current benchmark-centric evaluation methods.

研究动机与目标

• 评估深度策略梯度算法是否如其理论框架所预测的那样运行。
• 识别策略梯度方法的理论动机与其在实际中的经验行为之间的差异。
• 挑战当前以基准为中心的评估方法，这些方法可能掩盖了算法设计中的根本缺陷。
• 对关键组件进行细致分析：最先进的深度策略梯度算法中的梯度估计、价值预测和优化景观。

提出的方法

• 作者通过将核心框架组件分解为梯度估计、价值预测和优化景观，对最先进的深度策略梯度算法进行了详尽的实证分析。
• 评估代理目标在不同环境下的与实际奖励景观的对齐程度。
• 通过测量其对真实价值函数的拟合程度，评估所学价值估计器的保真度。
• 计算估计梯度与真实策略梯度之间的相关性度量，以评估梯度估计的质量。
• 该分析应用于一系列连续控制基准环境，以确保发现的普适性。
• 研究使用定量指标比较理论预测与实证观察，突出系统性偏差。

实验结果

研究问题

• RQ1 在深度策略梯度方法中，代理目标在多大程度上反映了真实的奖励景观？
• RQ2 在实践中，所学的价值估计器在多大程度上近似了真实的价值函数？
• RQ3 在深度策略梯度算法中，梯度估计与真实策略梯度的相关性有多好？
• RQ4 为何当前以基准为中心的评估方法未能检测到算法行为中的根本性错位？
• RQ5 这些错位对深度强化学习算法的理论理解与设计有何影响？

主要发现

• 深度策略梯度算法中使用的代理目标通常无法与实际奖励景观的形状保持一致，表明优化目标存在错配。
• 最先进方法中所学的价值估计器无法可靠地拟合真实价值函数，削弱了其在降低策略梯度方差中的作用。
• 这些算法中的梯度估计与真实策略梯度的相关性较差，表明优化并未沿着预期方向进行。
• 观察到的偏差在多个环境中保持一致，表明这是系统性问题而非孤立故障。
• 这些错配揭示了理论假设与经验行为之间存在显著差距，挑战了当前评估范式的有效性。