[论文解读] Adaptive Temporal Difference Learning with Linear Function Approximation

Tao Sun, Han Shen+2 more|arXiv (Cornell University)|Feb 20, 2020

Reinforcement Learning in Robotics参考文献 44被引用 8

一句话总结

本文提出 AdaTD(0) 和 AdaTD(λ)，这两种自适应时序差分学习算法采用线性函数逼近，并使用自适应步长以提升收敛鲁棒性。通过与随机梯度方法建立联系并分析马尔可夫采样下的情形，作者证明了在 Õ(ε⁻² ln⁴(1/ε)/ln⁴(1/ρ)) 的迭代复杂度下实现有限时间收敛，其最坏情况性能与标准 TD(0) 相当，但能实现经验上的加速，尤其在梯度稀疏时表现更优。

ABSTRACT

This paper revisits the temporal difference (TD) learning algorithm for the policy evaluation tasks in reinforcement learning. Typically, the performance of TD(0) and TD($λ$) is very sensitive to the choice of stepsizes. Oftentimes, TD(0) suffers from slow convergence. Motivated by the tight link between the TD(0) learning algorithm and the stochastic gradient methods, we develop a provably convergent adaptive projected variant of the TD(0) learning algorithm with linear function approximation that we term AdaTD(0). In contrast to the TD(0), AdaTD(0) is robust or less sensitive to the choice of stepsizes. Analytically, we establish that to reach an $ε$ accuracy, the number of iterations needed is $ ilde{O}(ε^{-2}\ln^4\frac{1}ε/\ln^4\frac{1}ρ)$ in the general case, where $ρ$ represents the speed of the underlying Markov chain converges to the stationary distribution. This implies that the iteration complexity of AdaTD(0) is no worse than that of TD(0) in the worst case. When the stochastic semi-gradients are sparse, we provide theoretical acceleration of AdaTD(0). Going beyond TD(0), we develop an adaptive variant of TD($λ$), which is referred to as AdaTD($λ$). Empirically, we evaluate the performance of AdaTD(0) and AdaTD($λ$) on several standard reinforcement learning tasks, which demonstrate the effectiveness of our new approaches.

研究动机与目标

• 为解决 TD(0) 和 TD(λ) 对步长选择敏感的问题，后者在实践中常导致收敛缓慢。
• 开发一种在使用线性函数逼近时可证明收敛的自适应 TD(0) 变体，且在马尔可夫采样下仍保持收敛保证。
• 将自适应框架扩展至 TD(λ)，以在策略评估任务中实现鲁棒且加速的学习。
• 在合理的马氏链假设下，为所提出的自适应算法建立有限时间收敛边界。
• 在标准强化学习基准任务上，通过实证验证 AdaTD(0) 和 AdaTD(λ) 的有效性。

提出的方法

• 提出 AdaTD(0)，一种基于自适应步长的 TD(0) 自适应投影变体，其灵感来源于随机梯度方法。
• 采用基于李雅普诺夫的分析方法，在马尔可夫采样下建立有限时间收敛性，考虑了 TD 更新中非独立同分布的特性。
• 提出一种新颖的分析框架，将 TD(0) 与随机优化联系起来，即使在缺乏固定目标函数的情况下也能实现收敛保证。
• 推导出 AdaTD(0) 的迭代复杂度边界为 Õ(ε⁻² ln⁴(1/ε)/ln⁴(1/ρ))，表明其最坏情况性能与标准 TD(0) 相当。
• 将自适应框架扩展至 TD(λ)，得到 AdaTD(λ)，并在基准任务上实现了理论收敛与实证验证。
• 运用技术引理控制梯度和动量项的增长，确保在自适应步长下仍具备稳定性和收敛性。

实验结果

研究问题

• RQ1 能否为使用线性函数逼近的 TD(0) 设计一种自适应步长策略，使其在马尔可夫采样下实现有限时间收敛？
• RQ2 与标准 TD(0) 相比，所提出的 AdaTD(0) 算法是否在步长选择敏感性方面表现出更强的收敛鲁棒性？
• RQ3 AdaTD(0) 的有限时间收敛速率是多少？其与标准 TD(0) 的最坏情况速率相比如何？
• RQ4 自适应框架能否扩展至 TD(λ)？AdaTD(λ) 是否保持了收敛性与性能提升？
• RQ5 在何种条件下 AdaTD(0) 能实现理论加速，特别是在随机半梯度稀疏时？

主要发现

• AdaTD(0) 实现了有限时间收敛，其迭代复杂度为 Õ(ε⁻² ln⁴(1/ε)/ln⁴(1/ρ))（达到 ε-精度），与标准 TD(0) 的最坏情况速率相当。
• 该算法在理论上对步长选择具有鲁棒性，显著降低了对人工超参数调优的需求。
• 当随机半梯度稀疏时，AdaTD(0) 实现了理论加速，提升了收敛速度。
• AdaTD(λ) 作为 TD(λ) 的自适应扩展被提出，在相同的马尔可夫采样模型下保持了收敛保证。
• 在标准强化学习任务上的实证评估表明，AdaTD(0) 和 AdaTD(λ) 在收敛速度和稳定性方面均优于其非自适应基线方法。
• 分析表明，AdaTD(0) 的收敛速率在最坏情况下不劣于 TD(0)，且在有利条件下具备潜在加速优势。