[论文解读] Finite-Time Analysis of Asynchronous Stochastic Approximation and $Q$-Learning

Guannan Qu, Adam Wierman|arXiv (Cornell University)|Feb 1, 2020

Stochastic Gradient Optimization Techniques参考文献 27被引用 24

一句话总结

本文针对带加权无穷范数收缩算子的异步随机逼近（SA）提出了有限时间收敛性分析，建立了 O(1/((1−γ)^1.5√T)) 的收敛速率。该结果被应用于异步 Q-learning，得到一个紧致的 ˜O(1/((1−γ)^5ε²)) 收敛时间，与目前已知最紧的同步 Q-learning 边界一致，并通过缩放线性步长消除了 1/(1−γ) 的指数爆炸问题，从而改进了先前的异步边界。

ABSTRACT

We consider a general asynchronous Stochastic Approximation (SA) scheme featuring a weighted infinity-norm contractive operator, and prove a bound on its finite-time convergence rate on a single trajectory. Additionally, we specialize the result to asynchronous $Q$-learning. The resulting bound matches the sharpest available bound for synchronous $Q$-learning, and improves over previous known bounds for asynchronous $Q$-learning.

研究动机与目标

• 解决异步 Q-learning 缺乏有限时间收敛边界的问题，这对实际强化学习应用至关重要。
• 克服先前基于 ODE 的 SA 分析在非线性、无穷范数收缩算子（如 Q-learning 中所用）上不适用的局限性。
• 为具有加权无穷范数收缩的异步 SA 提供比现有同步或基于周期的分析更紧致的有限时间收敛速率。
• 阐明并解决先前异步 Q-learning 分析中观察到的 1/(1−γ) 指数爆炸现象。
• 提出一种新颖的递归误差分解技术，相较于基于周期的方法，能更精确地隔离随机噪声的影响。

提出的方法

• 本文引入一种递归误差分解框架，将近似误差分解为由噪声和偏差驱动的分量，从而实现对随机波动的更紧密控制。
• 通过递归分解误差并使用缩放线性步长 αk = h/(k + t0)，该方法避免了早期工作中在 1/(1−γ) 上的指数依赖。
• 关键技术工具包括将 Azuma-Hoeffding 不等式新颖地应用于处理异步更新中噪声项的非马氏性质。
• 分析利用了形如 ∏(1−αℓdℓ,i) 的乘积有界性，以控制误差随时间传播的衰减。
• 提出一个新引理（引理 14），将噪声项的随机乘积上界控制为确定性量，从而支持使用集中不等式。
• 证明过程采用时间步长上的归纳法，结合对收缩算子、噪声和偏差项的边界估计，推导出最终的收敛速率。

实验结果

研究问题

• RQ1 带加权无穷范数收缩算子的异步随机逼近的有限时间收敛速率是什么？
• RQ2 异步 Q-learning 的收敛速率与同步 Q-learning 相比，在 ε、1/(1−γ) 和状态-动作空间大小上的依赖关系如何？
• RQ3 先前异步 Q-learning 分析中观察到的 1/(1−γ) 指数爆炸问题是否可以避免？若可避免，其条件是什么？
• RQ4 异步性对 Q-learning 收敛的影响是什么？如何在有限时间内对这种影响进行建模与有界化？
• RQ5 在异步设置下，递归误差分解方法是否能比基于周期的分析提供更紧的边界？

主要发现

• 本文为具有加权无穷范数收缩算子的异步 SA 建立了 O(1/((1−γ)^1.5√T)) 的有限时间收敛速率。
• 对于异步 Q-learning，收敛时间为 ˜O(1/((1−γ)^5ε²))，与目前已知最紧的同步 Q-learning 边界一致。
• 通过证明缩放线性步长 αk = h/(k + t0) 可防止误差界中出现 1/(1−γ) 的指数增长，从而解决了 1/(1−γ) 爆炸问题。
• 所提出的递归误差分解技术相比基于周期的方法能获得更紧的边界，因为它更精确地隔离了随机噪声的影响。
• 该方法通过消除对 1/(1−γ) 的指数依赖并收紧 ε 和状态空间的依赖关系，改进了先前异步 Q-learning 的边界。
• 在给定假设下，边界的数值常数被证明是紧致的，且对收缩系数 γ 和步长缩放的调控作用有明确控制。