[论文解读] A Finite Time Analysis of Temporal Difference Learning With Linear Function Approximation

Jalaj Bhandari, Daniel Russo+1 more|arXiv (Cornell University)|Jun 6, 2018

Reinforcement Learning in Robotics被引用 31

一句话总结

本文首次对马尔可夫数据下具有线性函数逼近的时序差分（TD）学习进行了有限时间分析，通过利用类似梯度的性质和信息论偏差控制，展示了其收敛速率与随机梯度下降（SGD）相当。该研究建立了显式的、非渐近的边界，其依赖于折扣因子、特征协方差条件数和混合时间，并将结果扩展至高维最优停时问题中的TD(λ)和Q-learning。

ABSTRACT

Temporal difference learning (TD) is a simple iterative algorithm used to estimate the value function corresponding to a given policy in a Markov decision process. Although TD is one of the most widely used algorithms in reinforcement learning, its theoretical analysis has proved challenging and few guarantees on its statistical efficiency are available. In this work, we provide a simple and explicit finite time analysis of temporal difference learning with linear function approximation. Except for a few key insights, our analysis mirrors standard techniques for analyzing stochastic gradient descent algorithms, and therefore inherits the simplicity and elegance of that literature. Final sections of the paper show how all of our main results extend to the study of TD learning with eligibility traces, known as TD($\\lambda$), and to Q-learning applied in high-dimensional optimal stopping problems.

研究动机与目标

• 通过在马尔可夫数据流下提供非渐近收敛保证，弥合TD学习理论理解上的差距。
• 建立显式的有限时间边界，其依赖于折扣因子、特征协方差条件数和马尔可夫链的混合时间等关键问题特征。
• 将分析扩展至高维最优停时问题中的TD(λ)和Q-learning，其中先前缺乏非渐近保证。
• 证明TD学习与随机梯度下降具有结构相似性，从而可复用SGD的分析技术。
• 提供一种稳健的、基于投影的框架，确保梯度噪声有界，并在依赖数据下实现可处理的偏差控制。

提出的方法

• 将TD更新建模为二次损失函数上的随机梯度步长，从而可应用标准SGD收敛技术。
• 通过将更新投影到范数球（Θ_R）上，确保梯度噪声有界并控制偏差，这是随机逼近中的标准技术。
• 采用信息论工具来界定由于马尔可夫依赖导致的梯度估计偏差，其量级与底层链的混合时间成正比。
• 通过引理建立梯度范数（G = r_max + 2R）的统一有界性和偏差的Lipschitz连续性，从而支持收敛性分析。
• 通过证明在相同假设下，TD(λ)和Q-learning同样保持相同结构特性，将框架扩展至TD(λ)和Q-learning。
• 利用优化文献中的技术（包括带马尔可夫噪声的非渐近SGD）推导理论边界。

实验结果

研究问题

• RQ1 能否在观测依赖的马尔可夫数据下，为具有线性函数逼近的TD学习建立有限时间收敛保证？
• RQ2 TD(0)的收敛速率如何依赖于马尔可夫链的混合时间与特征协方差矩阵的条件数？
• RQ3 尽管不存在固定损失函数，TD学习的分析在多大程度上可与随机梯度下降理论统一？
• RQ4 相同的有限时间分析框架能否扩展至高维最优停时问题中的TD(λ)和Q-learning？
• RQ5 在马尔可夫噪声下，投影到范数球在确保有界性和实现收敛中起到何种作用？

主要发现

• 本文在马尔可夫数据下，为具有线性函数逼近的TD(0)建立了Õ(1/T)的有限时间收敛速率，与独立同分布噪声模型下的最优已知速率相当。
• 收敛边界显式依赖于马尔可夫链的混合时间，偏差项相对于独立同分布情形按此因子缩放。
• 梯度范数被统一有界于G = r_max + 2R，确保稳定性并支持标准SGD分析工具的应用。
• 分析表明，期望的TD更新满足类似SGD的性质，从而合理化了SGD收敛技术的复用。
• 该框架无需修改即可扩展至高维最优停时问题中的TD(λ)和Q-learning，首次为这些设置提供了非渐近保证。
• 投影步骤在马尔可夫设置下对偏差和噪声控制至关重要，若移除则需对迭代值施加额外有界性假设。