[论文解读] Effective Multi-step Temporal-Difference Learning for Non-Linear Function Approximation

Harm van Seijen|arXiv (Cornell University)|Aug 18, 2016

Domain Adaptation and Few-Shot Learning参考文献 12被引用 13

一句话总结

本文提出了一种新型的多步时序差分学习方法——前向TD(λ)，适用于非线性函数逼近，其精确实现了来自前向视角的基于梯度下降的更新规则，避免了传统TD(λ)中常见的不稳定性和发散问题。在基准控制任务上的实证结果表明，尽管存在延迟更新，前向TD(λ)在使用神经网络时仍优于Sarsa(λ)，展现出更优的样本效率和更高的稳定性。

ABSTRACT

Multi-step temporal-difference (TD) learning, where the update targets contain information from multiple time steps ahead, is one of the most popular forms of TD learning for linear function approximation. The reason is that multi-step methods often yield substantially better performance than their single-step counter-parts, due to a lower bias of the update targets. For non-linear function approximation, however, single-step methods appear to be the norm. Part of the reason could be that on many domains the popular multi-step methods TD($λ$) and Sarsa($λ$) do not perform well when combined with non-linear function approximation. In particular, they are very susceptible to divergence of value estimates. In this paper, we identify the reason behind this. Furthermore, based on our analysis, we propose a new multi-step TD method for non-linear function approximation that addresses this issue. We confirm the effectiveness of our method using two benchmark tasks with neural networks as function approximation.

研究动机与目标

• 识别传统TD(λ)和Sarsa(λ)在非线性函数逼近中失败的原因，特别是由于不稳定性和值函数发散。
• 解决多步TD学习中不稳定性的问题根源，其根本原因在于偏离了真实的梯度下降更新规则。
• 开发一种计算高效的替代方法，以精确实现正确的更新规则，避免昂贵的前向视角计算。
• 证明新方法中固有的延迟更新不会损害性能，反而可能在非线性设置中提升学习效果。
• 在标准控制基准上使用神经网络作为函数逼近器，验证该方法的有效性。

提出的方法

• 提出前向TD(λ)，一种新颖算法，精确实现了来自TD(λ)前向视角的梯度下降更新规则，确保理论正确性。
• 采用延迟更新机制以保持计算效率，更新时机与每个回合的结束同步，或基于资格迹确定。
• 采用改进的资格迹机制，追踪每个状态-动作对在更新中的贡献，确保与真实时序差分更新的一致性。
• 引入学习率调度策略，对值函数更新使用固定的小值η，以确保训练过程中的稳定性。
• 通过为每个动作使用一个神经网络来估计动作值，将方法适配至控制任务，并应用ε-贪婪探索策略。
• 采用带非线性特征的参数化值函数，使模型能够在连续或大规模状态空间中实现跨状态和动作的泛化。

实验结果

研究问题

• RQ1 为何TD(λ)在使用非线性函数逼近时会无法收敛或发生发散，尽管其在线性设置中表现良好？
• RQ2 传统TD(λ)算法中何种特定偏差导致了非线性函数逼近下的不稳定性与方差增加？
• RQ3 能否设计一种计算高效的算法，精确实现前向视角的正确梯度下降更新规则，从而避免发散？
• RQ4 新方法中固有的更新延迟是否对学习性能产生负面影响，还是可能在非线性设置中提升稳定性？
• RQ5 在标准控制基准上，该方法与Sarsa(λ)相比，在样本效率和最终性能方面表现如何？

主要发现

• 在Mountain Car控制任务中，前向TD(λ)显著优于Sarsa(λ)，在所有λ值下（除λ=1.0外）均实现了更高的平均回报。
• 在Cart-Pole基准任务中，前向Sarsa(λ)在λ≈0.6时达到最优性能，而Sarsa(λ)在较高λ值下性能下降，表明其具有更强的鲁棒性。
• 在Mountain Car任务中，前向TD(λ)的RMS误差下降速度明显快于Sarsa(λ)，在λ=0.9时，前50个回合内归一化误差下降超过50%。
• 该方法即使在高λ值下也能保持稳定性，避免了在非线性函数逼近中Sarsa(λ)常见的值函数发散问题。
• 尽管存在延迟更新，前向TD(λ)仍实现了比Sarsa(λ)更优的样本效率和更低的方差，表明延迟可能具有正则化效应。
• 前向TD(λ)的计算复杂度与TD(0)相当，使其适用于大规模非线性问题，而无需依赖计算昂贵的λ-return算法。