[論文レビュー] On the Theory of Policy Gradient Methods: Optimality, Approximation, and Distribution Shift

Alekh Agarwal, Sham M. Kakade+2 more|arXiv (Cornell University)|Aug 1, 2019

Reinforcement Learning in Robotics参考文献 59被引用数 111

ひとこと要約

この論文は割引付きMDPにおける方策勾配法のグローバル収束保証を提供し、表形式と関数近似設定の両方を詳述するとともに、分布シフトに関連する平均ケース近似保証を導入します。

ABSTRACT

Policy gradient methods are among the most effective methods in challenging reinforcement learning problems with large state and/or action spaces. However, little is known about even their most basic theoretical convergence properties, including: if and how fast they converge to a globally optimal solution or how they cope with approximation error due to using a restricted class of parametric policies. This work provides provable characterizations of the computational, approximation, and sample size properties of policy gradient methods in the context of discounted Markov Decision Processes (MDPs). We focus on both: "tabular" policy parameterizations, where the optimal policy is contained in the class and where we show global convergence to the optimal policy; and parametric policy classes (considering both log-linear and neural policy classes), which may not contain the optimal policy and where we provide agnostic learning results. One central contribution of this work is in providing approximation guarantees that are average case -- which avoid explicit worst-case dependencies on the size of state space -- by making a formal connection to supervised learning under distribution shift. This characterization shows an important interplay between estimation error, approximation error, and exploration (as characterized through a precisely defined condition number).

研究の動機と目的

• tabular設定で最適政策がクラスに含まれる場合の方策勾配法のグローバル収束特性を確立する。
• 関数近似を用いた場合、最適政策が政策クラスの外にある可能性を含めて収束を分析する。
• 分布シフト概念による最悪ケース依存を回避する平均ケース近似保証を提供する。
• 推定誤差、近似誤差、探索のトレードオフを方策最適化で定量化する。

提案手法

• 割引付きMDPにおける1次と準2次近似の方策勾配法を分析する。
• 単体上の方策勾配バリアントの反復計算量（単体上の投影勾配上昇、ソフトマックスパラメータ化、対数障壁正則化版）を導出する。
• 適切な条件下で状態空間サイズとD_inftyに依存しない自然方策勾配（NPG）の高速収束率を証明する。
• 転移誤差/分布シフトフレームワークを用いた関数近似方策の平均ケース保証を開発する。
• 方策勾配の定式化として方策パラメータと方策勾配定理を用い、勾配支配の観点を含めた分析を行う。
• 構造的な誤差/分解分析を通じて関連する近似動的計画手法との比較を提供する。

実験結果

リサーチクエスチョン

• RQ1 tabular設定で最適政策が方策クラスに含まれる場合、方策勾配法はグローバルに最適政策へ収束できるか。
• RQ2 関数近似を用いた場合、最適政策が選択した方策クラスの外にある可能性があるとき、方策勾配法はどのように振る舞うか。
• RQ3 さまざまな方策勾配バリアントのサンプルおよび反復計算量はどの程度か、割引率および分布特性にどう依存するか。
• RQ4 平均ケース（分布シフト）分析は最悪ケース境界と比べて実用的で過度に悲観的でない保証をどのように生み出すか。
• RQ5 ソフトマックスパラメータ化における正則化（対数障壁/エントロピー）は有限時間収束にどのような役割を果たすか。

主な発見

• 単体設定では、適切な条件の下で1次法が最適政策へグローバル収束を達成する。
• Natural Policy Gradient (NPG) は、状態空間サイズと分布ミスマッチに依存せず、収束率を 2/((1-γ)^2 ε) とする。
• 対数障壁正則化を用いたソフトマックスパラメータ化は、問題量に対して多項式的な有限時間反復計算量境界を与える。
• 関数近似の場合、推定誤差 ε_stat、近似誤差 ε_approx、条件数 κ によって特徴づけられる平均ケース保証を提供し、収束は分布シフト D_infty に依存。
• 解析は分布シフト下での教師あり学習へ方策勾配学習を結びつけ、明示的な最悪ケースの状態空間依存を避ける平均ケース保証を可能にする。
• 第一階の方法では推定誤差、近似誤差、探索（分布ミスマッチ係数 D_infty による）のトレードオフを明らかにし、NPGには次元非依存の利点があることを示す。