[论文解读] Characterizing the Exact Behaviors of Temporal Difference Learning Algorithms Using Markov Jump Linear System Theory

Bin Hu, Usman Syed|arXiv (Cornell University)|Jun 16, 2019

Neural Networks Stability and Synchronization被引用 28

一句话总结

本文利用马尔可夫跳跃线性系统（MJLS）理论，对具有线性函数逼近的时序差分（TD）学习的均值和协方差动态提供了统一且精确的表征。推导了TD误差的均值和协方差的闭式表达式，通过谱半径建立收敛条件，并在独立同分布（i.i.d.）和马尔可夫噪声设定下，展示了均方TD误差线性收敛至精确极限的特性。

ABSTRACT

In this paper, we provide a unified analysis of temporal difference learning algorithms with linear function approximators by exploiting their connections to Markov jump linear systems (MJLS). We tailor the MJLS theory developed in the control community to characterize the exact behaviors of the first and second order moments of a large family of temporal difference learning algorithms. For both the IID and Markov noise cases, we show that the evolution of some augmented versions of the mean and covariance matrix of the TD estimation error exactly follows the trajectory of a deterministic linear time-invariant (LTI) dynamical system. Applying the well-known LTI system theory, we obtain closed-form expressions for the mean and covariance matrix of the TD estimation error at any time step. We provide a tight matrix spectral radius condition to guarantee the convergence of the covariance matrix of the TD estimation error, and perform a perturbation analysis to characterize the dependence of the TD behaviors on learning rate. For the IID case, we provide an exact formula characterizing how the mean and covariance matrix of the TD estimation error converge to the steady state values at a linear rate. For the Markov case, we use our formulas to explain how the behaviors of TD learning algorithms are affected by learning rate and the underlying Markov chain. For both cases, upper and lower bounds for the mean square TD error are provided. The mean square TD error is shown to converge linearly to an exact limit.

研究动机与目标

• 为分析具有线性函数逼近器的时序差分学习提供统一的理论框架。
• 表征在独立同分布（i.i.d.）和马尔可夫噪声下，TD估计误差的均值与协方差的精确演化过程。
• 通过矩阵谱半径分析，建立TD误差协方差矩阵收敛的精确条件。
• 为两种噪声模型下的均方TD误差推导出紧致的上下界。
• 分析TD学习行为对学习率和底层马尔可夫链结构的敏感性。

提出的方法

• 将TD学习算法建模为扩展的状态空间系统，使其映射为马尔可夫跳跃线性系统（MJLS）。
• 利用MJLS理论，推导出精确描述TD误差均值与协方差矩阵演化的确定性线性时不变（LTI）动态系统。
• 应用已知的LTI系统理论，获得任意时间步长下均值与协方差的闭式解析表达式。
• 推导出一个紧致的矩阵谱半径条件，以保证TD估计误差协方差矩阵的收敛性。
• 进行扰动分析，量化TD行为对学习率的依赖关系。
• 利用推导出的公式，分析在马尔可夫噪声情况下，学习率与马尔可夫链参数对TD学习动态的影响。

实验结果

研究问题

• RQ1 在独立同分布（i.i.d.）噪声下，如何精确表征具有线性函数逼近的TD学习的均值与协方差动态？
• RQ2 TD估计误差协方差矩阵收敛的精确条件是什么？
• RQ3 学习率如何影响均方TD误差的收敛速率与稳态行为？
• RQ4 底层马尔可夫链的特性如何影响TD学习算法的行为？
• RQ5 在独立同分布（i.i.d.）和马尔可夫噪声场景下，均方TD误差的紧致上下界是什么？

主要发现

• TD估计误差的均值与协方差矩阵演化遵循确定性LTI系统，从而可获得精确的闭式解。
• 推导出一个紧致的矩阵谱半径条件，以保证TD估计误差协方差矩阵的收敛性。
• 在独立同分布（i.i.d.）噪声情况下，均值与协方差以线性速率收敛至稳态值，且给出了精确公式。
• 在马尔可夫噪声情况下，分析揭示了学习率与马尔可夫链转移结构共同影响TD学习行为的机制。
• 均方TD误差线性收敛至一个精确极限，且为两种噪声模型均推导出紧致的上下界。
• 扰动分析表明，TD误差动态对学习率具有显式依赖关系，其依赖性通过系统矩阵的谱性质得以量化。