[論文レビュー] A Unified Switching System Perspective and O.D.E. Analysis of Q-Learning Algorithms

Donghwan Lee, Niao He|arXiv (Cornell University)|Dec 4, 2019

Advanced Memory and Neural Computing参考文献 24被引用数 10

ひとこと要約

本稿では、通常微分方程式（ODE）モデルを用いたQ学習アルゴリズムの分析を可能にする統一的スイッチングシステムフレームワークを導入し、Q学習から生じる非線形ODEがスイッチングアフィンシステムとして表現可能であることを示している。非同期Q学習、平均化Q学習、線形関数近似付きQ学習の漸近的収束性を、スイッチングシステム理論を用いた安定性の証明により確立し、先行研究よりも弱い十分条件を新たに導出している。

ABSTRACT

In this paper, we introduce a unified framework for analyzing a large family of Q-learning algorithms, based on switching system perspectives and ODE-based stochastic approximation. We show that the nonlinear ODE models associated with these Q-learning algorithms can be formulated as switched linear systems, and analyze their asymptotic stability by leveraging existing switching system theories. Our approach provides the first O.D.E. analysis of the asymptotic convergence of various Q-learning algorithms, including asynchronous Q-learning and averaging Q-learning. We also extend the approach to analyze Q-learning with linear function approximation and derive a new sufficient condition for its convergence.

研究の動機と目的

• スイッチングシステム理論とODEベースの確率的近似を用いて、多様なQ学習アルゴリズムを統一的に分析するフレームワークの構築。
• ODE安定性解析を用いて、非同期Q学習および平均化Q学習の漸近的収束性を証明する。
• フレームワークを線形関数近似付きQ学習に拡張し、収束のための新しい、より弱い十分条件を導出する。
• Q学習ダイナミクスとスイッチング線形システムとの間の関係を確立し、強化学習アルゴリズムに対する新たな解析的ツールを提供する。

提案手法

• Q学習アルゴリズムの非線形ODEを、状態フィードバックスイッチングポリシーを有するスイッチングアフィンシステムとしてモデル化する。
• スイッチングアフィンシステムの安定性を分析するための上界および下界の比較システムを構築する。
• 既知のスイッチングシステム安定性理論を適用し、比較システムのグローバル漸近的安定性を証明する。
• BorkarとMeynの定理を活用し、ODEの安定性から元のQ学習アルゴリズムのほとんど確実な収束を導出する。
• スイッチングシステム理論を用いて、線形関数近似付きQ学習の収束のための新しい十分条件を導出する。
• リャプノフ関数および比較原理を用いて、任意のスイッチング信号下での安定性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ODEおよびスイッチングシステム理論を用いて、多様なQ学習アルゴリズムの漸近的収束性を統一的に分析するフレームワークを構築可能か？
• RQ2 Q学習で生じる非線形ODEを、状態フィードバックスイッチングを有するスイッチングアフィンシステムとしてどのように表現できるか？
• RQ3 ODE解析を通じて、非同期および平均化Q学習の収束を保証する安定性条件は何か？
• RQ4 スイッチングシステム理論を用いて、線形関数近似付きQ学習の収束のための新しい、より弱い十分条件を導出可能か？
• RQ5 提案されたスイッチングシステムベースの条件は、Meloら（2008年）の条件と比較してどのように異なるか？

主な発見

• 非同期および平均化Q学習を含む、Q学習アルゴリズムの非線形ODEモデルは、状態フィードバックスイッチングポリシーを有するスイッチングアフィンシステムとして定式化可能である。
• 上界および下界の比較システムの漸近的安定性が、BorkarとMeynの定理により、元のQ学習アルゴリズムのほとんど確実な収束を保証する。
• 本稿のフレームワークは、平均化Q学習の漸近的収束性について、ODEベースの分析を初めて提供しており、これは従来の文脈では未分析であった。
• 線形関数近似付きQ学習の収束のための新しい十分条件が導出され、これはMeloら（2008年）の条件よりも厳密に弱い。
• 反例を提示することで、新しい条件がMeloらの条件では検証不可能なMDPを含むことが示され、厳密な包含関係が確認された。
• リャプノフ関数解析により、任意のスイッチング信号下でも上位比較システムのグローバル漸近的安定性が確認され、新しい十分条件の妥当性が裏付けられた。