[论文解读] Momentum Q-learning with Finite-Sample Convergence Guarantee

Bowen Weng, Huaqing Xiong+3 more|arXiv (Cornell University)|Jul 30, 2020

Target Tracking and Data Fusion in Sensor Networks参考文献 36被引用 8

一句话总结

本文提出MomentumQ，一种新颖的Q-learning算法，通过整合Nesterov与Polyak的动量方案以加速收敛。该工作首次为使用线性函数近似的基于动量的Q-learning提供了有限样本收敛保证，证明其收敛速率明显快于原始Q-learning，并在特定步长下，于表格情形中略优于SpeedyQ。

ABSTRACT

Existing studies indicate that momentum ideas in conventional optimization can be used to improve the performance of Q-learning algorithms. However, the finite-sample analysis for momentum-based Q-learning algorithms is only available for the tabular case without function approximations. This paper analyzes a class of momentum-based Q-learning algorithms with finite-sample guarantee. Specifically, we propose the MomentumQ algorithm, which integrates the Nesterov's and Polyak's momentum schemes, and generalizes the existing momentum-based Q-learning algorithms. For the infinite state-action space case, we establish the convergence guarantee for MomentumQ with linear function approximations and Markovian sampling. In particular, we characterize the finite-sample convergence rate which is provably faster than the vanilla Q-learning. This is the first finite-sample analysis for momentum-based Q-learning algorithms with function approximations. For the tabular case under synchronous sampling, we also obtain a finite-sample convergence rate that is slightly better than the SpeedyQ \citep{azar2011speedy} when choosing a special family of step sizes. Finally, we demonstrate through various experiments that the proposed MomentumQ outperforms other momentum-based Q-learning algorithms.

研究动机与目标

• 解决基于动量的Q-learning在函数近似下缺乏有限样本收敛分析的问题。
• 构建统一的动量框架，结合Nesterov与Polyak动量以提升Q-learning的收敛性能。
• 在线性函数近似和表格设置下，建立MomentumQ的理论有限样本收敛速率。
• 通过实验表明，MomentumQ在性能上优于原始Q-learning及其他基于动量的算法。

提出的方法

• 提出MomentumQ，一种Q-learning变体，通过基于历史的更新规则整合Nesterov与Polyak动量方案。
• 引入一种新颖的分析框架，以处理收敛证明中动量项带来的额外复杂性。
• 利用贝尔曼算子的压缩性质与Hoeffding-Azuma不等式来界定估计误差。
• 应用最大Hoeffding-Azuma不等式，控制随时间推移的随机误差最大偏差。
• 通过递归应用压缩性与误差分解引理，推导出有限样本界。
• 利用动量更新的结构特性，实现比原始Q-learning更快的收敛速率。

实验结果

研究问题

• RQ1 基于动量的Q-learning在使用线性函数近似时，能否实现有限样本收敛保证？
• RQ2 在表格与函数近似设置下，MomentumQ的收敛速率与原始Q-learning及SpeedyQ相比如何？
• RQ3 在函数近似下分析基于动量的Q-learning时，会面临哪些技术挑战，又该如何克服？
• RQ4 所提出的MomentumQ算法在实践中是否始终优于现有的基于动量的Q-learning方法？
• RQ5 动量参数与步长选择对算法收敛速率与稳定性有何影响？

主要发现

• MomentumQ在使用线性函数近似与马氏采样时，实现了比原始Q-learning更优的有限样本收敛速率。
• 在同步采样下的表格情形中，当采用特定步长族时，MomentumQ的有限样本收敛速率略优于SpeedyQ。
• 理论分析首次为基于动量的Q-learning在函数近似设置下提供了有限样本收敛保证。
• MomentumQ的有限样本界呈$ O(1/T) $形式，且由于动量的引入，常数因子得到改善。
• 实验结果表明，MomentumQ在表格与函数近似环境中，始终优于原始Q-learning及其他基于动量的Q-learning算法。
• 算法的性能提升归因于Nesterov与Polyak动量的有效结合，该结合减少了振荡并加速了收敛。