[论文解读] Interference and Generalization in Temporal Difference Learning

Emmanuel Bengio, Joëlle Pineau+1 more|arXiv (Cornell University)|Mar 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用 10

一句话总结

本文研究了时序差分（TD）学习中干扰（定义为梯度内积）与泛化能力之间的关系。研究发现，TD学习自然产生低干扰、欠泛化的参数，这与监督学习中低干扰对应更好泛化的情况形成对比，其原因在于bootstrapping机制的动力学特性以及目标的非平稳性。

ABSTRACT

We study the link between generalization and interference in temporal-difference (TD) learning. Interference is defined as the inner product of two different gradients, representing their alignment. This quantity emerges as being of interest from a variety of observations about neural networks, parameter sharing and the dynamics of learning. We find that TD easily leads to low-interference, under-generalizing parameters, while the effect seems reversed in supervised learning. We hypothesize that the cause can be traced back to the interplay between the dynamics of interference and bootstrapping. This is supported empirically by several observations: the negative relationship between the generalization gap and interference in TD, the negative effect of bootstrapping on interference and the local coherence of targets, and the contrast between the propagation rate of information in TD(0) versus TD($λ$) and regression tasks such as Monte-Carlo policy evaluation. We hope that these new findings can guide the future discovery of better bootstrapping methods.

研究动机与目标

• 研究时序差分（TD）学习中梯度干扰在泛化中的作用。
• 比较TD学习与监督学习中干扰和泛化行为的差异。
• 理解尽管使用了深度神经网络，为何TD方法通常导致泛化能力差。
• 探讨bootstrapping和目标稳定性如何影响TD算法中干扰的动力学特性。
• 通过分析干扰的演化过程，为未来更好bootstrapping方法的开发提供指导。

提出的方法

• 将干扰定义为来自两个不同目标的梯度的内积，$ \rho_{1,2} = \nabla_\theta J_1^T \nabla_\theta J_2 $，以量化梯度对齐程度。
• 利用MsPacman的回放缓冲区，实证测量不同TD方法（DQN、DDQN、QL）和回归任务中的干扰。
• 使用动量SGD分析干扰的演化，推导出涉及梯度移动平均的更新后干扰项。
• 比较TD(0)、TD(λ)和蒙特卡洛策略评估中的干扰动力学，以评估信息传播和目标一致性。
• 使用回归和策略评估任务计算干扰项 $ r_1, r_2, r_3 $，分析其符号和大小分布。
• 采用冻结目标网络（DQN）、指数移动平均（DDQN）和自目标化（QL）方法，研究目标稳定性如何影响干扰。

实验结果

研究问题

• RQ1 与监督学习相比，TD学习中干扰在训练过程中如何演化？
• RQ2 为何在TD学习中，低干扰与泛化能力差相关联，这与监督学习中的行为相反？
• RQ3 bootstrapping在塑造TD方法中干扰动力学和目标一致性方面起到什么作用？
• RQ4 像Adam和RMSProp这样的优化器选择如何影响TD学习中的干扰和泛化？
• RQ5 与TD(0)和Q-learning相比，TD(λ)在泛化能力和干扰稳定性方面有多大程度的改善？

主要发现

• TD学习始终产生低干扰参数，干扰值保持较低且常为负值，尤其在Q-learning和DQN中更为明显。
• TD学习中的泛化差距与干扰呈负相关，即干扰越低，泛化能力越差。
• TD方法中的bootstrapping降低了干扰并破坏了目标一致性，导致泛化能力差和训练数据的过度记忆。
• TD(λ)在干扰稳定性和泛化能力方面优于TD(0)和Q-learning，表明其目标传播和一致性得到改善。
• 动量SGD通过与梯度移动平均对齐，降低了干扰的方差，可能稳定了TD学习中干扰的演化过程。
• Adam和RMSProp在干扰动力学上表现出出人意料的差异，表明优化器选择对TD学习中的泛化有显著影响。