[論文レビュー] Optimality and Approximation with Policy Gradient Methods in Markov Decision Processes

Alekh Agarwal, Sham M. Kakade+2 more|arXiv (Cornell University)|Aug 1, 2019

Reinforcement Learning in Robotics被引用数 33

ひとこと要約

本稿は、割引付きマルコフ決定過程における方策勾配法の理論的基盤を確立し、表形式のパrameterizationのもとで最適方策へのグローバル収束を証明するとともに、制限付き方策クラスにおけるアグノスティック学習の保証を提供する。探索の課題を克服する上で、有益な初期状態分布の役割を形式化し、収束速度と近似誤差の境界を提示することで、方策勾配法を理論的に価値ベース手法と同等の水準に引き上げる。

ABSTRACT

Policy gradient methods are among the most effective methods in challenging reinforcement learning problems with large state and/or action spaces. However, little is known about even their most basic theoretical convergence properties, including: if and how fast they converge to a globally optimal solution (say with a sufficiently rich policy class); how they cope with approximation error due to using a restricted class of parametric policies; or their finite sample behavior. Such characterizations are important not only to compare these methods to their approximate value function counterparts (where such issues are relatively well understood, at least in the worst case), but also to help with more principled approaches to algorithm design. This work provides provable characterizations of computational, approximation, and sample size issues with regards to policy gradient methods in the context of discounted Markov Decision Processes (MDPs). We focus on both: 1) tabular policy parameterizations, where the optimal policy is contained in the class and where we show global convergence to the optimal policy, and 2) restricted policy classes, which may not contain the optimal policy and where we provide agnostic learning results. One insight of this work is in formalizing the importance how a favorable initial state distribution provides a means to circumvent worst-case exploration issues. Overall, these results place policy gradient methods under a solid theoretical footing, analogous to the global convergence guarantees of iterative value function based algorithms.

研究の動機と目的

• 割引付きマルコフ決定過程（MDP）における方策勾配法の、計算量的、近似的、サンプルサイズの側面における、証明可能な収束特性を確立すること。
• 最適方策がパラメトリック方策クラスに含まれない場合に、方策勾配法がどのように動作するかを分析し、アグノスティック学習の保証を提供すること。
• 初期状態分布が探索効率および収束に与える影響を調査し、最悪ケースの探索問題を回避する上でその役割を形式化すること。
• 反復的価値関数アルゴリズムの理論的保証と類似する保証を提供することで、方策勾配法と価値ベース手法を理論的に比較すること。
• 特に実用的状況における収束速度と近似誤差に関する理解の理論的ギャップを埋めること。

提案手法

• 著者らは、表形式のパラメータ化と制限付きパラメトリック方策クラスの両方を用いて、割引付きMDPにおける方策勾配法を分析する。
• 表形式方策の場合は、期待累積報酬に関する勾配上昇を用い、滑らかさおよび強い凹性の性質を活用することで、最適方策へのグローバル収束を証明する。
• 制限付き方策クラスの場合は、クラス内での最良方策との相対的な近似誤差を定量化するアグノスティック学習の境界を導出する。
• 初期状態分布が収束に与える影響を形式的に分析し、有益な分布が最悪ケースの探索のボトルネックを解消できることを示す。
• 確率的近似、マルコフ連鎖理論、最適化の道具を用いて理論的結果を導出し、勾配ノイズと収束速度の境界を含む。
• 主な要素には、方策勾配定理の使用と、性能目的関数のヘッセ行列の分析が含まれ、局所的およびグローバルな収束行動を確立する。

実験結果

リサーチクエスチョン

• RQ1 表形式MDPにおける方策勾配法が、どのような条件下で最適方策へのグローバル収束を達成するか？
• RQ2 最適方策がパラメトリック方策クラスに含まれない場合、方策勾配法はどのように動作するのか？また、どのような性能保証を提供できるか？
• RQ3 初期状態分布が方策勾配法の収束および探索効率に与える影響は何か？
• RQ4 方策クラスにおける近似誤差が方策勾配法の性能に与える影響は何か？また、これらは境界化可能か？
• RQ5 関数近似が存在する状況下での、有限サンプルおよび計算的収束速度は何か？

主な発見

• 標準的な正則性条件のもとで、割引付きMDPにおける表形式パラメータ化を用いた方策勾配法は、最適方策へのグローバル収束を達成する。
• 最適方策を含まない制限付き方策クラスでは、アグノスティック学習の保証が得られ、サブオプティマルティーガップが近似誤差の観点から境界化される。
• 有益な初期状態分布は、最悪ケースの探索問題を軽減することで、収束を著しく改善し、広範な探索の必要性を低減する。
• 本稿は、方策勾配法の有限サンプル収束速度を確立し、収束速度が性能のランドスケープの曲率と方策初期化の質に依存することを示す。
• 制限付き方策クラスに起因する近似誤差は形式的に定量化され、クラス内での最良方策と真の最適方策との距離に依存する境界が得られる。
• 理論的枠組みは、価値ベースの反復アルゴリズムの収束保証と同等の厳密性を持つ、方策勾配法の基盤を提供する。