[论文解读] Fastest Convergence for Q-learning

Adithya M. Devraj, Sean Meyn|arXiv (Cornell University)|Jul 12, 2017

Adaptive Dynamic Programming Control参考文献 23被引用 27

一句话总结

本文提出Zap Q-learning，一种通过双时间尺度随机逼近模拟牛顿-拉夫森动态的矩阵增益Q-learning算法，实现最快收敛。该算法优化了渐近方差，并在有限时间性能上表现卓越，尤其在非理想参数化设置下，优于标准Q-learning和标量增益方法，在数值实验中表现更优。

ABSTRACT

The Zap Q-learning algorithm introduced in this paper is an improvement of Watkins' original algorithm and recent competitors in several respects. It is a matrix-gain algorithm designed so that its asymptotic variance is optimal. Moreover, an ODE analysis suggests that the transient behavior is a close match to a deterministic Newton-Raphson implementation. This is made possible by a two time-scale update equation for the matrix gain sequence. The analysis suggests that the approach will lead to stable and efficient computation even for non-ideal parameterized settings. Numerical experiments confirm the quick convergence, even in such non-ideal cases. A secondary goal of this paper is tutorial. The first half of the paper contains a survey on reinforcement learning algorithms, with a focus on minimum variance algorithms.

研究动机与目标

• 解决Watkins Q-learning收敛缓慢及其在非理想参数化设置下的不稳定性问题。
• 基于随机逼近理论，设计一种具有最优渐近方差的Q-learning算法。
• 通过双时间尺度更新模拟确定性牛顿-拉夫森动态，改善瞬态行为。
• 提供一种理论基础坚实、稳定且高效的标量增益和基于平均的Q-learning方法的替代方案。
• 为非理想函数逼近设置下的未来理论研究奠定基础。

提出的方法

• 该算法采用双时间尺度随机逼近框架，追踪Q函数梯度的逆海森矩阵，模拟牛顿-拉夫森步长。
• 矩阵增益自适应更新，以匹配最小化渐近方差的最优增益序列。
• 该方法基于ODE分析，将算法的瞬态动态与确定性牛顿-拉夫森系统联系起来。
• 渐近协方差被导出为李雅普诺夫方程的解，从而实现方差优化。
• 该算法设计确保在真实Q函数不在参数化函数类中时仍保持稳定性和效率。
• 通过多次模拟运行的有限horizon和平均奖励设置下的数值实验验证性能。

实验结果

研究问题

• RQ1 通过优化渐近方差，矩阵增益Q-learning算法能否实现比标准Q-learning更快的收敛速度？
• RQ2 矩阵增益的双时间尺度更新在非理想参数化设置下如何影响瞬态行为和稳定性？
• RQ3 渐近协方差在多大程度上能预测强化学习算法的有限时间性能？
• RQ4 Zap Q-learning框架能否扩展到最优Q函数位于参数化函数类之外的设置？
• RQ5 在瞬态性能和异常值行为方面，Zap Q-learning与Polyak-Ruppert平均法及标量增益方法相比如何？

主要发现

• Zap Q-learning实现了最优的渐近方差，显著降低了与标准Q-learning相比的缩放协方差。
• 在数值实验中，Zap Q-learning将n = 2×10⁶时平均奖励 < 0.5的异常值数量从超过500例减少至0例，而G-Q(0)在g=100时仍有395例此类异常值。
• 对于平均奖励 < 0.95的情况，Zap Q-learning在ρ=0.85时于n = 2×10⁶时完全消除了所有异常值，而G-Q(0)在相同n值下仍有525例异常值。
• 该算法的瞬态行为与ODE分析预测的确定性牛顿-拉夫森动态高度一致。
• Zap Q-learning在有限时间性能上优于标量增益方法和RPJ平均法，即使后者具有最优渐近方差。
• 该方法在非理想设置下表现出鲁棒性，具有稳定收敛和极少异常值，表明其具有更广泛的应用潜力。