[論文レビュー] Q-Learning for Stochastic Control under General Information Structures and Non-Markovian Environments

Ali̇ Devran Kara, Serdar Yüksel|arXiv (Cornell University)|Oct 31, 2023

Auction Theory and Applications被引用数 6

ひとこと要約

本稿は、定常性および正性条件の下で、非マルコフ的かつ確率的制御環境におけるQ学習の一般化収束定理を確立する。収束定理は、連続空間MDP、フィルタ安定性を伴う量子化信念MDP、有限ウィンドウPOMDP、およびマルチエージェント系において、部分的または完全なモデル知識なしに学習が可能である近似的最適解への収束を示す。

ABSTRACT

As a primary contribution, we present a convergence theorem for stochastic iterations, and in particular, Q-learning iterates, under a general, possibly non-Markovian, stochastic environment. Our conditions for convergence involve an ergodicity and a positivity criterion. We provide a precise characterization on the limit of the iterates and conditions on the environment and initializations for convergence. As our second contribution, we discuss the implications and applications of this theorem to a variety of stochastic control problems with non-Markovian environments involving (i) quantized approximations of fully observed Markov Decision Processes (MDPs) with continuous spaces (where quantization break down the Markovian structure), (ii) quantized approximations of belief-MDP reduced partially observable MDPS (POMDPs) with weak Feller continuity and a mild version of filter stability (which requires the knowledge of the model by the controller), (iii) finite window approximations of POMDPs under a uniform controlled filter stability (which does not require the knowledge of the model), and (iv) for multi-agent models where convergence of learning dynamics to a new class of equilibria, subjective Q-learning equilibria, will be studied. In addition to the convergence theorem, some implications of the theorem above are new to the literature and others are interpreted as applications of the convergence theorem. Some open problems are noted.

研究の動機と目的

• 非マルコフ的および一般情報構造の下で、確率的制御におけるQ学習の一般収束定理を確立すること。
• マルコフ的でない場合でも、定常性および正性条件の下でQ学習反復の極限を特定すること。
• 連続空間MDP、部分的に観測可能なMDP（POMDP）、および限られたまたは局所的な情報を持つマルチエージェント系へのQ学習の適用範囲を拡張すること。
• 分散型確率的制御設定において、新たな均衡クラス—主観的Q学習均衡—を導入し、その分析を行うこと。
• 量子化や有限記憶によってマルコフ性が破壊される系において、Q学習が近似的最適性に到達する条件を同定すること。

提案手法

• 定常性および正性条件の下で、Q学習を含む一般化された確率的反復の収束定理を提案し、非マルコフ的環境に適用可能であることを示す。
• 弱連続性および定常性条件を用いて、連続空間における完全観測MDPに対して近似的最適性能を達成する。
• 弱Feller連続性およびやや厳しいフィルタ安定性の下で、POMDPの信念MDP近似を分析し、モデル知識を伴う量子化ベース学習を可能にする。
• 一様制御フィルタ安定性の下で、POMDPの有限ウィンドウ近似を検討し、任意の初期化を許容するモデルフリー学習を可能にする。
• 2段階時刻スケールと満足性に基づく学習スキームを用いて、Q学習アルゴリズムをマルチエージェント系に適応させ、方策更新と価値関数推定を併用する。
• エージェントがグローバル情報を持たない状況でも、局所的探索と価値更新に依存して安定な方策プロファイルに収束する、主観的Q学習均衡フレームワークを用いる。

Figure 1: Q value convergence for non Markov and Markov state.

実験結果

リサーチクエスチョン

• RQ1 Q学習は、非マルコフ的かつ確率的制御環境において、どのような一般条件の下で収束するか？
• RQ2 マルコフ性が量子化によって破壊される場合、連続空間MDPにおいてQ学習はどのように適用可能か？
• RQ3 量子化された信念表現とフィルタ安定性の下で、POMDPにおける収束が近的最適方策に至るための条件は何か？
• RQ4 有限記憶近似を用いる場合、モデル知識なしにQ学習がPOMDPで近的最適性に到達できるか？
• RQ5 分散型マルチエージェント系における主観的Q学習均衡の性質と存在条件は何か？

主な発見

• Q学習は、非マルコフ的環境であっても、定常性および正性条件によって特徴づけられる極限に収束する。
• 連続空間MDPでは、弱連続性および定常性条件の下で、Q学習は近的最適性に到達する。
• POMDPの信念MDP近似において、フィルタダイナミクスが弱Feller連続でかつフィルタ安定性が成立する場合、Q学習は近的最適方策に収束する。
• POMDPの有限ウィンドウ近似では、一様制御フィルタ安定性の下で、モデル知識なしにQ学習の収束が可能である。
• マルチエージェント系では、満足性および2段階時刻スケール学習の下で、Q学習ダイナミクスは、完全に局所的情報のもとでも主観的Q学習均衡に収束する。
• 主観的Q学習均衡の存在は未解決の問題であるが、アルゴリズム設計と安定性解析により収束条件が確立されている。

Figure 2: An illustration of the $k-$ th exploration phase.