[论文解读] Finite-Time Analysis for Double Q-learning

Huaqing Xiong, Lin Zhao+2 more|arXiv (Cornell University)|Sep 29, 2020

Reinforcement Learning in Robotics参考文献 33被引用 16

一句话总结

本文首次对双Q-learning进行了有限时间分析，建立了同步与异步变体的收敛速率。结果表明，双Q-learning在达到ε-准确解时，所需迭代次数为$\tilde{\mathrm{O}}\bigl((1/(1-\gamma)^6\epsilon^2)^{1/\omega} + (1/(1-\gamma))^{1/(1-\omega)}\bigr)$，在高精度情形下具有更紧的界，验证了其通过降低过估计来提升准确性的设计，代价是收敛速度较慢。

ABSTRACT

Although Q-learning is one of the most successful algorithms for finding the best action-value function (and thus the optimal policy) in reinforcement learning, its implementation often suffers from large overestimation of Q-function values incurred by random sampling. The double Q-learning algorithm proposed in~\citet{hasselt2010double} overcomes such an overestimation issue by randomly switching the update between two Q-estimators, and has thus gained significant popularity in practice. However, the theoretical understanding of double Q-learning is rather limited. So far only the asymptotic convergence has been established, which does not characterize how fast the algorithm converges. In this paper, we provide the first non-asymptotic (i.e., finite-time) analysis for double Q-learning. We show that both synchronous and asynchronous double Q-learning are guaranteed to converge to an $ε$-accurate neighborhood of the global optimum by taking $ ildeΩ\left(\left( \frac{1}{(1-γ)^6ε^2} ight)^{\frac{1}ω} +\left(\frac{1}{1-γ} ight)^{\frac{1}{1-ω}} ight)$ iterations, where $ω\in(0,1)$ is the decay parameter of the learning rate, and $γ$ is the discount factor. Our analysis develops novel techniques to derive finite-time bounds on the difference between two inter-connected stochastic processes, which is new to the literature of stochastic approximation.

研究动机与目标

• 为解决双Q-learning缺乏非渐近理论分析的问题，尽管其在实践中广泛应用且表现出强劲的实证效果。
• 刻画双Q-learning的有限时间收敛速率，特别是其趋近最优Q函数的速度。
• 开发新颖的分析技术，以处理双Q-learning中两个相互关联的随机过程之间的耦合问题。
• 比较双Q-learning与普通Q-learning在ε、γ和1−γ依赖性方面的收敛行为。
• 通过有限时间界验证双Q-learning的设计原则——通过减少过估计来优先保证准确性，即使以牺牲收敛速度为代价。

提出的方法

• 提出一种基于学习率$\alpha_t = 1/t^\omega$（其中$\omega \in (0,1)$）的双Q-learning有限时间分析框架。
• 利用鞅差序列和浓度不等式，分析同步与异步实现。
• 开发新颖技术，以界定由两个Q估计器引发的两个耦合随机过程之间的差异。
• 引入覆盖数$L$以表征探索行为，并将其与异步设置下的收敛时间关联。
• 应用指数尾部界和联合界，推导出置信度$1-\delta$下的高概率收敛保证。
• 通过精细控制学习率衰减与探索参数，平衡偏差与方差项，推导出迭代复杂度界。

实验结果

研究问题

• RQ1 同步双Q-learning的有限时间收敛速率如何依赖于$\epsilon$、$\gamma$和$\delta$？
• RQ2 异步双Q-learning的收敛速率如何依赖于覆盖数$L$与折扣因子$\gamma$？
• RQ3 在高精度与低精度情形下，双Q-learning的收敛速率与普通Q-learning相比如何？
• RQ4 有限时间分析如何形式化双Q-learning中过估计减少与收敛速度之间的权衡？
• RQ5 能否通过新颖的随机逼近技术，对双Q-learning中两个相互关联的随机过程之间的耦合进行有界控制？

主要发现

• 同步双Q-learning以至少$1-\delta$的概率达到$\epsilon$-精度，所需迭代次数为$\Omega\left(\left(\frac{1}{(1-\gamma)^6\epsilon^2}\ln\frac{|\mathcal{S}||\mathcal{A}|}{(1-\gamma)^7\epsilon^2\delta}\right)^{1/\omega} + \left(\frac{1}{1-\gamma}\ln\frac{1}{(1-\gamma)^2\epsilon}\right)^{1/(1-\omega)}\right)$。
• 异步双Q-learning所需迭代次数为$\Omega\left(\left(\frac{L^4}{(1-\gamma)^6\epsilon^2}\ln\frac{|\mathcal{S}||\mathcal{A}|L^4}{(1-\gamma)^7\epsilon^2\delta}\right)^{1/\omega} + \left(\frac{L^2}{1-\gamma}\ln\frac{1}{(1-\gamma)^2\epsilon}\right)^{1/(1-\omega)}\right)$，其中$L$为覆盖数。
• 在高精度情形下，双Q-learning的收敛速率与普通Q-learning处于同一数量级，表明其以准确性为导向的设计在收敛速度较慢的情况下仍占主导地位。
• 在低精度情形下，由于更新机制更为谨慎，收敛速率略弱于普通Q-learning，但这与其减少过估计的目标一致。
• 该分析引入了新颖的技术，用于界定两个相互关联的随机过程之间的差异，这在强化学习的随机逼近背景下是首次出现。
• 推导出的界证实，双Q-learning的设计——通过在两个Q估计器之间切换以减少过估计——可带来更高的准确性，尤其在高精度设置下表现更优。