[论文解读] A Unified Switching System Perspective and O.D.E. Analysis of Q-Learning Algorithms

Donghwan Lee, Niao He|arXiv (Cornell University)|Dec 4, 2019

Advanced Memory and Neural Computing参考文献 24被引用 10

一句话总结

本文提出一种统一的切换系统框架，通过常微分方程（ODE）模型分析Q-learning算法，表明Q-learning产生的非线性ODE可表示为切换仿射系统。通过切换系统理论证明稳定性，建立了异步Q-learning、平均Q-learning以及线性函数逼近Q-learning的渐近收敛性，提供了比以往工作更弱的线性函数逼近下收敛性的新充分条件。

ABSTRACT

In this paper, we introduce a unified framework for analyzing a large family of Q-learning algorithms, based on switching system perspectives and ODE-based stochastic approximation. We show that the nonlinear ODE models associated with these Q-learning algorithms can be formulated as switched linear systems, and analyze their asymptotic stability by leveraging existing switching system theories. Our approach provides the first O.D.E. analysis of the asymptotic convergence of various Q-learning algorithms, including asynchronous Q-learning and averaging Q-learning. We also extend the approach to analyze Q-learning with linear function approximation and derive a new sufficient condition for its convergence.

研究动机与目标

• 开发一种统一框架，利用切换系统理论与基于ODE的随机逼近方法，分析多种Q-learning算法。
• 通过ODE稳定性分析，证明异步Q-learning与平均Q-learning的渐近收敛性。
• 将该框架扩展至具有线性函数逼近的Q-learning，推导出收敛性的新、更弱的充分条件。
• 建立Q-learning动态与切换线性系统之间的联系，为强化学习算法提供一种新颖的分析工具。

提出的方法

• 将Q-learning算法的非线性ODE建模为具有状态反馈切换策略的切换仿射系统。
• 为切换仿射系统构建上界与下界比较系统，以分析稳定性。
• 应用已知的切换系统稳定性理论，证明比较系统的全局渐近稳定性。
• 利用Borkar与Meyn定理，从ODE稳定性推断原始Q-learning算法的几乎 surely 收敛性。
• 基于切换系统理论，推导出具有线性函数逼近的Q-learning收敛性的新充分条件。
• 使用李雅普诺夫函数与比较原理，验证在任意切换信号下系统的稳定性。

实验结果

研究问题

• RQ1 能否基于ODE与切换系统理论，开发一种统一框架，以分析多种Q-learning算法的渐近收敛性？
• RQ2 如何将Q-learning中出现的非线性ODE表示为具有状态反馈切换的切换仿射系统？
• RQ3 何种稳定性条件可确保通过ODE分析实现异步与平均Q-learning的收敛性？
• RQ4 能否基于切换系统理论，为具有线性函数逼近的Q-learning推导出新的、更弱的收敛充分条件？
• RQ5 所提出的基于切换系统的方法得出的条件与现有条件（如Melo等人，2008年提出的条件）相比如何？

主要发现

• Q-learning算法的非线性ODE模型，包括异步与平均Q-learning，可被表述为具有状态反馈切换策略的切换仿射系统。
• 上界与下界比较系统的渐近稳定性，通过Borkar与Meyn定理，确保了原始Q-learning算法的几乎 surely 收敛性。
• 所提出的框架首次基于ODE方法分析了平均Q-learning的渐近收敛性，此前该问题在该语境下尚未被分析。
• 推导出具有线性函数逼近的Q-learning收敛性的新充分条件，其严格弱于Melo等人（2008年）的条件。
• 提供了一个反例，表明新条件包含Melo等人条件无法验证的MDP，证明了严格包含关系。
• 李雅普诺夫函数分析证实，在任意切换信号下，上界比较系统具有全局渐近稳定性，从而验证了新充分条件。