[论文解读] Gradient Temporal-Difference Learning with Regularized Corrections

Sina Ghiassian, Andrew Patterson+4 more|arXiv (Cornell University)|Jul 1, 2020

Neural Networks and Applications被引用 9

一句话总结

该论文提出TDRC（带正则化修正的时序差分学习），一种新颖的梯度TD方法，通过调节正则化参数统一了TD与TDC。当TD表现良好时，该方法保持TD的性能；在收敛性方面，其表现如TDC一般可靠；在线性和非线性函数逼近的预测与控制任务中，均展现出更优的稳定性和性能，优于TD和标准梯度TD方法。

ABSTRACT

It is still common to use Q-learning and temporal difference (TD) learning-even though they have divergence issues and sound Gradient TD alternatives exist-because divergence seems rare and they typically perform well. However, recent work with large neural network learning systems reveals that instability is more common than previously thought. Practitioners face a difficult dilemma: choose an easy to use and performant TD method, or a more complex algorithm that is more sound but harder to tune and all but unexplored with non-linear function approximation or control. In this paper, we introduce a new method called TD with Regularized Corrections (TDRC), that attempts to balance ease of use, soundness, and performance. It behaves as well as TD, when TD performs well, but is sound in cases where TD diverges. We empirically investigate TDRC across a range of problems, for both prediction and control, and for both linear and non-linear function approximation, and show, potentially for the first time, that gradient TD methods could be a better alternative to TD and Q-learning.

研究动机与目标

• 为解决强化学习中的实际困境：TD方法简单高效但可能发散；梯度TD方法理论可靠但复杂且难以调参。
• 开发一种方法，在TD表现良好时继承其性能，同时保证如TDC一样的收敛性。
• 设计一种单一算法，通过正则化参数平滑地在TD与TDC行为间过渡，减少对大量超参数调优的需求。
• 在多样化环境中实证验证该方法，包括非线性函数逼近和控制场景，其中稳定性和性能至关重要。

提出的方法

• TDRC引入正则化参数β，用于在标准TD（β = 1）与TDC（β = 0）之间插值，实现两算法间的连续过渡。
• 该算法采用改进的更新规则，将时序差分误差与正则化后的梯度校正项结合，以稳定学习过程。
• 采用与TDC类似的双时间尺度更新机制，但引入正则化校正项，降低对第二个学习率的敏感性。
• 该方法基于李雅普诺夫稳定性分析，证明在温和条件下可实现收敛，即使矩阵C为奇异矩阵亦成立。
• 正则化参数β表现出强鲁棒性：在所有实验中，β = 1.0均表现优异，显著降低对调参的敏感性。
• 该算法源自对离策略预测问题的鞍点公式化，确保在函数逼近下的收敛性。

实验结果

研究问题

• RQ1 能否设计一种单一算法，在TD稳定时性能匹配TD，同时保证如TDC一样的收敛性？
• RQ2 正则化参数β如何影响离策略时序差分学习中稳定性与性能之间的权衡？
• RQ3 TDRC是否在各类线性和非线性函数逼近问题中，均优于TD与TDC，涵盖预测与控制任务？
• RQ4 TDRC对超参数选择，特别是正则化参数β，是否具有鲁棒性，适用于多样化环境？
• RQ5 在TDC与Q-learning表现不一致的非线性控制场景中，TDRC能否实现稳定且高性能的学习？

主要发现

• TDRC在TD表现良好的场景中，性能与TD相当，同时保持收敛性保证。
• TDRC在广泛的问题中优于其他梯度TD方法，包括TDC，涵盖线性和非线性函数逼近。
• 正则化参数β具有强鲁棒性：β = 1.0在所有实验中均表现优异，显著降低对调参的敏感性。
• 在采用非线性函数逼近的控制任务中，TDRC始终匹配或超越Q-learning性能，而TDC表现出高方差与不稳定性。
• 与TDC相比，TDRC展现出更优的稳定性，后者对第二个学习率高度敏感，尤其在离策略设置中。
• 当学习率满足推导出的边界条件时，即使矩阵C为奇异矩阵，该方法仍可实现收敛，显著扩展了其适用范围。