[论文解读] UCB Momentum Q-learning: Correcting the bias without forgetting

Pierre Ménard, Omar Darwiche Domingues+2 more|arXiv (Cornell University)|Mar 1, 2021

Advanced Bandit Algorithms Research参考文献 24被引用 10

一句话总结

该论文提出了一种新型无模型强化学习算法——UCB动量Q-learning（UCBMQ），用于表格型回合制MDP，通过将Q-learning与动量项及置信上界（UCB）结合，校正偏差并最小化遗憾。其遗憾界为$\widetilde{\mathcal{O}}(\sqrt{H^{3}SAT} + H^{4}SA)$，在$T$较大时与已知的$\Omega(\sqrt{H^{3}SAT})$下界匹配，并且在第二项中关于$S$呈线性增长——这是首个同时实现最优遗憾界与低状态依赖性的算法。

ABSTRACT

We propose UCBMQ, Upper Confidence Bound Momentum Q-learning, a new algorithm for reinforcement learning in tabular and possibly stage-dependent, episodic Markov decision process. UCBMQ is based on Q-learning where we add a momentum term and rely on the principle of optimism in face of uncertainty to deal with exploration. Our new technical ingredient of UCBMQ is the use of momentum to correct the bias that Q-learning suffers while, at the same time, limiting the impact it has on the second-order term of the regret. For UCBMQ, we are able to guarantee a regret of at most $O(\sqrt{H^3SAT}+ H^4 S A )$ where $H$ is the length of an episode, $S$ the number of states, $A$ the number of actions, $T$ the number of episodes and ignoring terms in poly-$\log(SAHT)$. Notably, UCBMQ is the first algorithm that simultaneously matches the lower bound of $Ω(\sqrt{H^3SAT})$ for large enough $T$ and has a second-order term (with respect to the horizon $T$) that scales only linearly with the number of states $S$.

研究动机与目标

• 解决由于使用不准确的历史估计进行自举（bootstrapping）而引起的Q-learning中的偏差问题。
• 降低第二项遗憾项对状态数$S$的依赖，该依赖在大规模状态MDP中可能占主导地位。
• 实现与已知下界$\Omega(\sqrt{H^{3}SAT})$相匹配的遗憾界，同时保持第二项中关于$S$的线性增长。
• 结合无模型学习的优势（无相关性问题）与面对不确定性时乐观性（UCB）的探索效率。

提出的方法

• 引入基于动量的更新规则，通过降低过时估计的影响来校正Q-learning中的偏差。
• 使用置信上界（UCB）促进探索，确保面对不确定性时的乐观性。
• 采用参考优势分解方法以降低方差，利用最优值函数的粗略初始估计。
• 对历史Q值估计应用新颖的加权方案，以控制较旧、可能有偏差的更新的影响。
• 基于Q值估计的经验方差构建置信区间，以平衡探索与利用。
• 通过集中不等式和动量加权更新过程的递归分析，推导出遗憾界。

实验结果

研究问题

• RQ1 无模型Q-learning算法能否实现与信息论下界$\Omega(\sqrt{H^{3}SAT})$相匹配的遗憾？
• RQ2 第二项遗憾项能否实现关于$S$的线性增长而非二次增长，特别是在大规模状态MDP中？
• RQ3 能否利用动量校正Q-learning的偏差，同时不增加方差或遗忘有用的历史信息？
• RQ4 在非平稳回合制MDP中，能否在保持收敛性和低遗憾的同时，维持面对不确定性的乐观性？

主要发现

• UCBMQ实现了$\widetilde{\mathcal{O}}(\sqrt{H^{3}SAT} + H^{4}SA)$的遗憾界，该界在$T$较大时与$\Omega(\sqrt{H^{3}SAT})$下界匹配。
• 第二项遗憾项关于$S$呈线性增长，而以往算法多为$S^2$或$S^{3/2}$量级，因此在大规模状态空间中更具可扩展性。
• 该算法通过动量机制成功校正了Q-learning中的偏差，同时保留了基于UCB的探索优势。
• 与先前的无模型方法（如OptQL和UCB-Advantage）相比，其遗憾界更紧，后者分别多出$\sqrt{H}$或$H^{33/4}$因子。
• 分析表明，动量机制限制了对第二项遗憾的影响，避免了因估计相关性导致的模型基算法中常见的$S^2$因子。
• 该方法是首个在回合制MDP中同时实现最优第一项遗憾与关于$S$的线性第二项缩放的算法。