[论文解读] Finite-Time Analysis of Q-Learning with Linear Function Approximation.

Zaiwei Chen, Sheng Zhang+3 more|arXiv (Cornell University)|May 27, 2019

Reinforcement Learning in Robotics参考文献 19被引用 6

一句话总结

本文通过在马尔可夫噪声下对非线性随机逼近进行新颖分析，建立了使用线性函数近似的Q-learning的有限样本收敛边界。通过利用李雅普诺夫漂移和马尔可夫链的快速混合性质，证明了在无需独立同分布样本或投影步骤的条件下，只要行为策略满足确保算法稳定性的条件，即可实现稳定性和收敛性。

ABSTRACT

Motivated by applications in Reinforcement Learning (RL), in this paper, we study a nonlinear Stochastic Approximation (SA) algorithm under Markovian noise, and derive its finite-sample convergence bounds. Our proof is based on the Lyapunov drift arguments, and to handle the Markovian noise, we exploit the fast mixing of the underlying Markov chain. Our result is used to show the finite-sample bounds of the popular Q-learning with linear function approximation algorithm for solving the RL problem. Since Q-learning with linear function approximation may diverge in general, we study it under a condition on the behavior policy that ensures the stability of the algorithm. Due to the generality of our SA results, we do not need to make the unnatural assumption that the samples are i.i.d. (since they are Markovian), and do not require an additional projection step in the algorithm to maintain the boundedness of the iterates.

研究动机与目标

• 分析在具有马尔可夫噪声的强化学习设置中，使用线性函数近似的Q-learning的有限样本收敛性。
• 解决使用线性函数近似的Q-learning的不稳定性问题，该问题在缺乏对行为策略的适当条件时可能发散。
• 开发一种处理马尔可夫采样的一般随机逼近框架，无需独立同分布假设。
• 消除为保持迭代值有界而使用投影步骤的需要，这在以往的分析中常被采用。
• 在最小假设下建立收敛保证，依赖于底层马尔可夫链的快速混合性质。

提出的方法

• 使用李雅普诺夫漂移论证，分析在马尔可夫噪声下非线性随机逼近算法的收敛性。
• 利用底层马尔可夫链的快速混合性质，控制连续样本之间的依赖性。
• 将使用线性函数近似的Q-learning作为所提出随机逼近框架的一个特例进行分析。
• 通过界定迭代值与最优解之间期望偏差，推导出有限样本边界。
• 引入对行为策略的条件，以确保算法稳定性并防止发散。
• 避免使用投影步骤来维持有界性，转而依赖于行为策略条件带来的内在稳定性。

实验结果

研究问题

• RQ1 在马尔可夫采样下，使用线性函数近似的Q-learning在什么条件下能实现有限时间收敛？
• RQ2 是否可以在不假设独立同分布样本或投影步骤的情况下，建立有限样本收敛边界？
• RQ3 马尔可夫链的快速混合如何有助于控制随机逼近中的误差？
• RQ4 行为策略在确保使用线性函数近似的Q-learning的稳定性中起什么作用？
• RQ5 能否设计一种一般化的随机逼近框架，在无需独立同分布假设的情况下处理马尔可夫噪声下的非线性更新？

主要发现

• 在马尔可夫采样下，对使用线性函数近似的Q-learning建立了有限样本收敛边界，且无需独立同分布样本。
• 分析表明，只要行为策略满足确保稳定性的条件，算法即可收敛，从而防止发散。
• 李雅普诺夫漂移方法成功控制了尽管样本非独立同分布的误差动态。
• 马尔可夫链的快速混合在控制时间相关性并支持收敛性分析方面起着关键作用。
• 该框架无需投影步骤即可保持迭代值有界，从而简化了算法并提升了实用性。
• 结果适用于一类广义的非线性随机逼近算法，使其应用范围不仅限于Q-learning。