[论文解读] Geometric Insights into the Convergence of Nonlinear TD Learning

David Brandfonbrener, Joan Bruna|arXiv (Cornell University)|May 29, 2019

Gene Regulatory Network Analysis参考文献 28被引用 5

一句话总结

本文通过分析建模期望学习动态的连续时间ODE，为非线性TD学习的收敛性提供了几何洞察。当环境相对于近似器条件的可逆性足够强时，证明了其能全局收敛至真实值函数，并识别出一类同质函数近似器（如ReLU网络），其动态保持有界，且在最坏情况下性能与线性TD相当。

ABSTRACT

While there are convergence guarantees for temporal difference (TD) learning when using linear function approximators, the situation for nonlinear models is far less understood, and divergent examples are known. Here we take a first step towards extending theoretical convergence guarantees to TD learning with nonlinear function approximation. More precisely, we consider the expected learning dynamics of the TD(0) algorithm for value estimation. As the step-size converges to zero, these dynamics are defined by a nonlinear ODE which depends on the geometry of the space of function approximators, the structure of the underlying Markov chain, and their interaction. We find a set of function approximators that includes ReLU networks and has geometry amenable to TD learning regardless of environment, so that the solution performs about as well as linear TD in the worst case. Then, we show how environments that are more reversible induce dynamics that are better for TD learning and prove global convergence to the true value function for well-conditioned function approximators. Finally, we generalize a divergent counterexample to a family of divergent problems to demonstrate how the interaction between approximator and environment can go wrong and to motivate the assumptions needed to prove convergence.

研究动机与目标

• 理解非线性TD学习的收敛行为，尽管其被广泛使用，但缺乏理论保证。
• 通过分析其连续时间期望动态，解决非线性TD学习的不稳定性问题。
• 识别确保收敛的函数近似器和环境的几何条件。
• 将已知的收敛区域（线性和可逆）推广至更广泛的非线性函数近似器类别。
• 为为何某些架构（如ReLU网络）比其他架构更适用于TD学习提供理论依据。

提出的方法

• 将TD(0)的期望学习动态建模为连续时间的非线性常微分方程（ODE）。
• 使用矩阵A = D_μ(I - γP)定义动态，该矩阵控制ODE并继承马尔可夫链和平稳分布的性质。
• 通过研究函数近似器的几何结构与环境结构之间的相互作用来分析收敛性。
• 引入光滑齐次函数类（包括ReLU网络），并证明其几何结构可确保动态有界，且最坏情况性能与线性TD相当。
• 当环境的可逆性超过近似器的条件数时，利用谱和几何论证建立全局收敛性。
• 将已知的发散反例推广至一类非可逆环境，以说明失败模式并验证假设。

实验结果

研究问题

• RQ1 在函数近似器的何种几何条件下，非线性TD学习会收敛？
• RQ2 环境的马尔可夫链结构与函数近似器几何结构之间的相互作用如何影响收敛性？
• RQ3 线性TD的收敛保证能否推广至ReLU网络等非线性函数近似器？
• RQ4 环境可逆性在稳定非线性TD学习动态中起何种作用？
• RQ5 近似器与环境之间何种结构性失败会导致发散，以及如何对其进行表征？

主要发现

• 光滑齐次函数近似器集合（包括ReLU网络）可确保TD(0) ODE动态被吸引至包含真实值函数的紧集。
• 对于具有ResNet启发式参数化的ReLU类网络，紧集中的最坏情况误差与线性TD学习的误差相当。
• 当环境的可逆性超过近似器的条件数时，可实现对真实值函数的全局收敛。
• 为非可逆环境构建了广义的发散反例，表明近似器几何结构与环境结构之间的不良交互可能导致发散。
• ODE动态由矩阵A = D_μ(I - γP)控制，该矩阵为正定矩阵，确保在线性和可逆情况下实现收敛。
• 研究结果提供了一个几何框架，用于理解非线性TD学习在何种情况下是稳定的，弥合了线性和可逆收敛区域之间的差距。