[论文解读] Loss Dynamics of Temporal Difference Reinforcement Learning

Blake Bordelon, Paul Masset+2 more|arXiv (Cornell University)|Jul 10, 2023

stochastic dynamics and bifurcation被引用 4

一句话总结

本文提出一种基于统计物理的理论，用于分析带线性函数逼近的时序差分（TD）强化学习中的学习动态。通过将特征轨迹建模为时间相关的高斯分布，该理论预测了由于随机半梯度噪声导致的价值误差平台现象，并揭示了学习率、折扣因子和奖励塑造如何影响收敛速度与平台深度——为实际应用中的元参数优化提供了框架。

ABSTRACT

Reinforcement learning has been successful across several applications in which agents have to learn to act in environments with sparse feedback. However, despite this empirical success there is still a lack of theoretical understanding of how the parameters of reinforcement learning models and the features used to represent states interact to control the dynamics of learning. In this work, we use concepts from statistical physics, to study the typical case learning curves for temporal difference learning of a value function with linear function approximators. Our theory is derived under a Gaussian equivalence hypothesis where averages over the random trajectories are replaced with temporally correlated Gaussian feature averages and we validate our assumptions on small scale Markov Decision Processes. We find that the stochastic semi-gradient noise due to subsampling the space of possible episodes leads to significant plateaus in the value error, unlike in traditional gradient descent dynamics. We study how learning dynamics and plateaus depend on feature structure, learning rate, discount factor, and reward function. We then analyze how strategies like learning rate annealing and reward shaping can favorably alter learning dynamics and plateaus. To conclude, our work introduces new tools to open a new direction towards developing a theory of learning dynamics in reinforcement learning.

研究动机与目标

• 开发一个理论框架，以理解带线性函数逼近的TD学习中的学习动态。
• 解释在TD学习中价值误差出现性能平台的原因，这种现象在标准梯度下降中并不存在。
• 量化特征结构、学习率、折扣因子和批量大小对收敛速度与平台形成的影响。
• 通过学习曲线行为的分析预测，指导元参数设计。
• 在小型MDP和真实环境（如MountainCar-v0）上验证理论，表明其在不同特征类型下的鲁棒性。

提出的方法

• 该理论采用高斯等价假设，将随机轨迹平均替换为时间相关的高斯特征平均。
• 应用统计物理中的路径积分方法，推导出在线TD学习中典型情况的学习曲线解析表达式。
• 该模型假设特征协方差矩阵具有时间相关性，并推导出随时间变化的期望价值误差的闭式表达式。
• 该框架将任务-特征对齐作为关键度量，用于量化特征在给定任务下支持快速学习的能力。
• 通过推导的公式 $\mathcal{L}_{n}\sim\left[(1-\eta)^{2}+\frac{\eta^{2}}{\alpha}\right]^{n}$，实现对学习率、批量大小和折扣因子下学习曲线缩放的预测。
• 该方法在网格世界MDP和MountainCar-v0环境中通过JAX和GPU加速模拟进行了数值验证。

实验结果

研究问题

• RQ1 在使用线性函数逼近时，是什么导致了TD学习中的性能平台？
• RQ2 学习率、折扣因子和批量大小在多大程度上影响学习平台的深度与持续时间？
• RQ3 该统计物理框架在高维、非平稳的强化学习设置中，能在多大程度上预测学习曲线动态？
• RQ4 任务-特征对齐在多大程度上影响学习速度与平台形成？
• RQ5 该理论能否指导最优学习率退火和奖励塑造策略的设计？

主要发现

• 该理论在合成环境和真实环境中均能准确预测学习曲线动态，包括2D网格世界和MountainCar-v0。
• 价值误差中的性能平台主要源于子采样轨迹带来的随机半梯度噪声，而非优化景观的曲率。
• 价值误差与学习率成正比，与批量大小成反比，该结论在MountainCar-v0实验中使用10个随机种子得到验证。
• 可基于该理论推导出学习率退火调度策略，以减少平台持续时间并加速收敛。
• 可利用该理论优化奖励塑造，以提升任务-特征对齐程度并减少学习时间。
• 该模型的预测在多种特征类型下均成立，包括RBF位置细胞、多项式特征和傅里叶特征，验证了其泛化能力。