[論文レビュー] Q-Learning for MDPs with General Spaces: Convergence and Near Optimality via Quantization under Weak Continuity

Ali̇ Devran Kara, Naci Saldı+1 more|arXiv (Cornell University)|Nov 12, 2021

Reinforcement Learning in Robotics被引用数 8

ひとこと要約

本稿は、遷移核の弱連続性の下で量子化を用いることで、一般（標準ボレル）の状態空間および行動空間を有するマルコフ決定過程（MDP）におけるQ学習の収束性と近似的最適性を確立する。量子化されたQ学習が最適性方程式を満たす極限に収束することを証明し、弱連続性の下で明示的な性能バインディングが得られ、緩和された正則性条件のもとで漸近的に最適となることを示す。

ABSTRACT

Reinforcement learning algorithms often require finiteness of state and action spaces in Markov decision processes (MDPs) (also called controlled Markov chains) and various efforts have been made in the literature towards the applicability of such algorithms for continuous state and action spaces. In this paper, we show that under very mild regularity conditions (in particular, involving only weak continuity of the transition kernel of an MDP), Q-learning for standard Borel MDPs via quantization of states and actions (called Quantized Q-Learning) converges to a limit, and furthermore this limit satisfies an optimality equation which leads to near optimality with either explicit performance bounds or which are guaranteed to be asymptotically optimal. Our approach builds on (i) viewing quantization as a measurement kernel and thus a quantized MDP as a partially observed Markov decision process (POMDP), (ii) utilizing near optimality and convergence results of Q-learning for POMDPs, and (iii) finally, near-optimality of finite state model approximations for MDPs with weakly continuous kernels which we show to correspond to the fixed point of the constructed POMDP. Thus, our paper presents a very general convergence and approximation result for the applicability of Q-learning for continuous MDPs.

研究の動機と目的

• 連続（標準ボレル）の状態空間および行動空間を有するMDPに対して、Q学習の収束性および最適性保証を拡張すること。
• 一般条件下における連続MDPのQ学習における収束性および近似バインディングの欠如を解消すること。
• 遷移核の弱連続性の下で、量子化Q学習が明示的な誤差バインディングを伴い、近似的最適な方策を生成することを確立すること。
• 有限時限のQ学習理論と連続MDPを統合するために、量子化MDPを部分的に観測可能なMDP（POMDP）として扱い、POMDP収束結果を活用すること。

提案手法

• 状態および行動の量子化を測定カーネルとして扱い、量子化MDPを部分的に観測可能なMDP（POMDP）に変換する。
• POMDPにおけるQ学習の既知の収束性および近的最適性結果を、量子化システムに適用する。
• POMDP定式化の不動点を活用して、量子化価値関数が真の最適価値関数を近似することを示す。
• 遷移核の弱連続性を活用して、量子化下での近似の安定性および収束性を保証する。
• 最適価値関数のリプシッツ連続性とコスト関数の有界性を用いて、明示的な性能バインディングを導出する。
• 量子化誤差、遷移核近似誤差、価値関数反復誤差の各項を組み合わせ、総誤差バインディングを導出する。

実験結果

リサーチクエスチョン

• RQ1 遷移核の弱連続性の下で、連続状態空間および行動空間を有するMDPに対して、Q学習が厳密に収束することを示せるか？
• RQ2 量子化を介して連続MDPに適用されたQ学習に対して、どのような性能保証（例：誤差バインディング）が確立できるか？
• RQ3 量子化MDP定式化は、元のMDPと最適性および収束性の観点でどのように関係するか？
• RQ4 量子化Q学習方策が漸近的に最適性を達成するための条件は何か？
• RQ5 真の最適価値関数と量子化Q学習結果との間の近似誤差を明示的にバインディングできるか？

主な発見

• 遷移核の弱連続性の下で、量子化MDPにおけるQ学習は、最適性方程式を満たす極限に収束する。
• 元のMDPの最適価値関数は、$ \frac{\alpha_{c}}{(1-\beta\alpha_{T})(1-\beta)}\bar{L} $ のバインディングで量子化Q学習結果によって近似可能であり、ここで $ \alpha_{c} $, $ \alpha_{T} $, および $ \bar{L} $ は量子化およびリプシッツパラメータである。
• 量子化Q学習から導出される方策は、最適方策からの性能ギャップが $ \frac{2\alpha_{c}}{(1-\beta)^2(1-\beta\alpha_{T})}\bar{L} $ でバインディングされる。
• 最適価値関数 $ J^{*}_{\beta} $ はリプシッツ連続であり、定数 $ \|J^{*}_{\beta}\|_{L} \leq \frac{\alpha_{c}}{1-\beta\alpha_{T}} $ を満たすことが示され、誤差伝搬解析が可能になる。
• 本アプローチにより、漸近的最適性が確立される：量子化が細かくなるにつれて、性能ギャップは消滅する。
• 量子化をPOMDPとして扱うことで、有限時限のQ学習収束理論と連続MDPを統合し、厳密な誤差解析を可能にするフレームワークを構築する。