[论文解读] Finite Sample Analyses for TD(0) with Function Approximation

Gal Dalal, Balázs Szörényi+2 more|arXiv (Cornell University)|Apr 4, 2017

Reinforcement Learning in Robotics参考文献 23被引用 8

一句话总结

本文首次对使用线性函数近似的标准、未经修改的TD(0)算法进行了有限样本收敛性分析。通过新颖的随机逼近技术，该研究在不依赖投影或与问题相关的学习率调节的前提下，建立了其在期望和高概率下的收敛速率。

ABSTRACT

TD(0) is one of the most commonly used algorithms in reinforcement learning. Despite this, there is no existing finite sample analysis for TD(0) with function approximation, even for the linear case. Our work is the first to provide such results. Existing convergence rates for Temporal Difference (TD) methods apply only to somewhat modified versions, e.g., projected variants or ones where stepsizes depend on unknown problem parameters. Our analyses obviate these artificial alterations by exploiting strong properties of TD(0). We provide convergence rates both in expectation and with high-probability. The two are obtained via different approaches that use relatively unknown, recently developed stochastic approximation techniques.

研究动机与目标

• 填补TD(0)与线性函数近似结合时有限样本分析的理论空白，此前该领域缺乏收敛速率结果。
• 在标准学习率设置下，分析原始、未经修改的TD(0)算法——不使用投影，也不依赖未知参数的学习率调节。
• 在期望和高概率下提供收敛保证，以解决现有文献中的一个关键局限。
• 开发一种通用的方法论框架，通过扩展所用理论工具，使其适用于非线性函数近似（如深度神经网络）。

提出的方法

• 利用TD(0)的强性质，避免引入人工修改（如投影或基于特征值的学习率调节）。
• 应用近期发展的随机逼近技术，包括参数变分公式和Alekseev公式，以推导边界。
• 通过归纳法分析期望收敛速率，通过集中不等式进行独立的高概率分析。
• 在初始迭代点位于吸引域内的条件下建立边界，从而实现对病态情况下截断解收敛性的分析。
• 提出一种分析在线TD学习的新框架，将算法视为随机逼近过程。
• 通过非线性常微分方程分析和Alekseev公式，将该方法扩展至非线性函数近似，假设稳定平衡点的吸引域具有特定性质。

实验结果

研究问题

• RQ1 能否为未经修改的原始TD(0)算法（使用线性函数近似）建立有限样本收敛速率？
• RQ2 在不使用投影或问题特定学习率调节的情况下，TD(0)在期望和高概率下的收敛速率是什么？
• RQ3 当特征矩阵病态时（特别是存在零特征值时），算法的行为如何？
• RQ4 该理论框架能否扩展至非线性函数近似（如深度神经网络）？
• RQ5 在噪声更新下，初始参数向量在TD(0)收敛行为中起什么作用？

主要发现

• 这是首项为标准TD(0)算法（使用线性函数近似）提供有限样本收敛速率的研究，且无需投影或基于未知参数的学习率调节。
• 通过利用TD(0)更新结构和底层常微分方程的性质，采用归纳法证明了期望收敛速率。
• 利用先进的集中技术推导出高概率边界，样本复杂度边界为 $ \tilde{O}\left(\left(\frac{1}{\epsilon}\ln\frac{1}{\delta}\right)^{\max\{1+\frac{1}{\lambda},2\}}\right) $（当 $ \lambda > 1/2 $ 时），以及 $ \tilde{O}\left(\left(\frac{1}{\epsilon}\ln\frac{1}{\delta}\right)^{1+\frac{1}{\lambda}}\right) $（当 $ \lambda < 1/2 $ 时）。
• 分析表明，当矩阵 $ A $ 病态时，无法保证收敛到真实解，因为其在 $ A $ 的零空间方向上缺乏进展，且算法可能根据初始迭代点收敛到不同的截断解。
• 该方法可通过非线性常微分方程分析和Alekseev公式推广至非线性函数近似（如神经网络），前提是假设稳定平衡点的吸引域具有特定性质。
• 该框架可扩展至双时间尺度设置，并可能适用于自适应学习率，表明其在广义线性函数近似之外具有更广泛的应用潜力。