[论文解读] Implicit Temporal Differences

Aviv Tamar, Panos Toulis+2 more|arXiv (Cornell University)|Dec 21, 2014

Reinforcement Learning in Robotics参考文献 20被引用 7

一句话总结

本文提出隐式TD(λ)，一种标准TD(λ)算法的稳定变体，通过用涉及下一时刻权重估计的隐式更新方程替代显式权重更新，实现更优稳定性——尤其在大步长下表现显著优于标准TD(λ)和自适应步长方法（如Alpha-Bound）的基准实验结果。

ABSTRACT

In reinforcement learning, the TD($λ$) algorithm is a fundamental policy evaluation method with an efficient online implementation that is suitable for large-scale problems. One practical drawback of TD($λ$) is its sensitivity to the choice of the step-size. It is an empirically well-known fact that a large step-size leads to fast convergence, at the cost of higher variance and risk of instability. In this work, we introduce the implicit TD($λ$) algorithm which has the same function and computational cost as TD($λ$), but is significantly more stable. We provide a theoretical explanation of this stability and an empirical evaluation of implicit TD($λ$) on typical benchmark tasks. Our results show that implicit TD($λ$) outperforms standard TD($λ$) and a state-of-the-art method that automatically tunes the step-size, and thus shows promise for wide applicability.

研究动机与目标

• 解决使用大步长时TD(λ)已知的不稳定性问题，该问题可能导致发散，尽管收敛速度更快。
• 克服自适应步长方法（如Alpha-Bound）的局限性，后者在初始步长选择不佳时仍易出现不稳定。
• 开发一种稳定且计算高效的标准TD(λ)替代方法，同时保留其线性复杂度和在线更新结构。
• 通过权重变化和矩阵范数的界，为改进稳定性提供理论依据。
• 在标准强化学习环境中展示隐式TD(λ)的实证优越性，尤其在高步长设置下。

提出的方法

• 提出一种隐式更新规则，其中下一时刻权重估计 $ w_{t+1}^{ ext{im}} $ 同时出现在更新方程的两侧，取代标准TD(λ)中的显式 $ w_t $。
• 将隐式更新定义为 $ w_{t+1}^{ ext{im}} = w_t^{ ext{im}} + \alpha_t \left[ r_t + \gamma \phi_{t+1}^\top w_t^{ ext{im}} + \gamma\lambda e_{t-1}^\top w_t^{ ext{im}} - e_t^\top w_{t+1}^\text{im} \right] e_t $，该形式需在每一步求解一个线性系统。
• 通过推导谱范数 $ \|I - \alpha Q_t X_t\|_2 $ 的界，建立理论稳定性，表明隐式更新因 $ \beta_t \|e_t\| \leq 1/\alpha $ 的收缩效应而具有内在稳定性。
• 利用矩阵分析比较显式与隐式TD(λ)中更新矩阵的特征值行为，证明隐式更新能有效抑制大权重变化。
• 在SARSA(λ)框架内实现该方法，称为“隐式SARSA(λ)”，以实现与标准方法和自适应方法的直接对比。
• 将隐式TD(λ)与自适应步长规则（如Alpha-Bound）结合，探索混合稳定性改进方案。

实验结果

研究问题

• RQ1 隐式TD(λ)的公式化是否能在不增加计算成本的前提下，实现比显式TD(λ)更好的稳定性？
• RQ2 隐式更新机制如何控制权重变化并防止在大步长下的发散？
• RQ3 隐式TD(λ)是否在实证强化学习基准测试中优于标准TD(λ)和最先进的自适应步长方法（如Alpha-Bound）？
• RQ4 其改进稳定性的理论基础是什么，特别是关于矩阵范数界和特征值行为？
• RQ5 隐式更新能否推广至其他易受不稳定性影响的在线强化学习算法？

主要发现

• 在水洼世界和倒立摆环境中，隐式TD(λ)在所有测试步长下均保持稳定，而标准TD(λ)和Alpha-Bound在步长超过0.1时发生发散。
• 在使用三阶傅里叶特征和λ=0.5的水洼世界环境中，隐式TD(λ)在所有步长下均获得比标准TD(λ)和Alpha-Bound更高的最终平均奖励。
• 实证结果表明，使用大步长时，隐式TD(λ)比标准TD(λ)收敛更快且更可靠。
• 理论分析证实，隐式TD(λ)对更新矩阵谱范数的界比显式TD(λ)更紧，尤其在资格迹较大时。
• 该方法继承了标准TD(λ)的线性复杂度，适用于高维特征空间的大规模问题。
• 隐式TD(λ)可与自适应步长规则（如Alpha-Bound）结合，进一步提升性能，表明其具有广泛适用性。