[論文レビュー] Global Convergence of Policy Gradient Methods for the Linear Quadratic Regulator

Maryam Fazel, Rong Ge+2 more|arXiv (Cornell University)|Jan 15, 2018

Advanced Control Systems Optimization被引用数 240

ひとこと要約

この論文は、無限時間の線形二次レギュレータ（LQR）に対するモデルベースおよびモデルフリーのポリシー勾配法がグローバルに最適政策へ収束することを証明し、多項式時間のサンプル・計算複雑度を持つことを示し、ナチュラルポリシー勾配は収束速度を改善する。

ABSTRACT

Direct policy gradient methods for reinforcement learning and continuous control problems are a popular approach for a variety of reasons: 1) they are easy to implement without explicit knowledge of the underlying model 2) they are an "end-to-end" approach, directly optimizing the performance metric of interest 3) they inherently allow for richly parameterized policies. A notable drawback is that even in the most basic continuous control problem (that of linear quadratic regulators), these methods must solve a non-convex optimization problem, where little is understood about their efficiency from both computational and statistical perspectives. In contrast, system identification and model based planning in optimal control theory have a much more solid theoretical footing, where much is known with regards to their computational and statistical properties. This work bridges this gap showing that (model free) policy gradient methods globally converge to the optimal solution and are efficient (polynomially so in relevant problem dependent quantities) with regards to their sample and computational complexities.

研究の動機と目的

• 強化学習と古典的最適制御のギャップを埋めるため、LQR設定におけるポリシー勾配法のグローバル収束保証を確立する。
• 正確な（exact）およびモデルフリー（zeroth-order）ポリシー勾配アプローチのいずれも、多項式のサンプルおよび計算複雑度で最適政策へ収束することを示す。
• この非凸設定において、自然ポリシー勾配法は素朴な勾配法より収束速度が改善されることを示す。

提案手法

• x_{t+1}=Ax_t+Bu_t で無限時間LQRを定式化し、正定値QとRを用いた二次コストを設定する。
• ポリシーが線形であるとき、u_t=-Kx_t、C(K)を表現する：P_K がそのLyapunov様方程式を解き、C(K)=E_{x0}[x0^T P_K x0]。
• ポリシー勾配 ∇C(K)=2E_K Σ_K を導く。ここで E_K=((R+B^T P_K B)K - B^T P_K A) で、Σ_K は状態相関行列。
• 勾配支配性とほぼ滑らか性を用いて、非凸性にもかかわらずグローバル収束性を示す非凸最適化のランドスケープを分析する。
• 三つの正確な更新ルールのグローバル収束を証明する： (i) 勾配降下法，(ii) 自然ポリシー勾配法，(iii) Gauss-Newton，明示的な反復/複雑度境界。
• ローズアウトとリロールアウトによる勾配のゼロ次推定を用いてモデルフリー設定へ拡張し、ポリシー収束の多項式サンプル複雑度を証明する。
• 十分なロールアウト長と正確な推定を用いれば、サンプルから推定された勾配であっても勾配ベースの更新が最適解へ収束するという高レベルの証明戦略を提供する。

実験結果

リサーチクエスチョン

• RQ1 非凸性にもかかわらず、LQR目的関数に対するポリシー勾配はグローバル最適解へ収束するのか？
• RQ2 モデルフリーでサンプルベースのポリシー勾配法は多項式時間保証でグローバル最適性を達成できるのか？
• RQ3 このLQR設定における自然ポリシー勾配は標準の勾配法と比較して収束速度がどうなるのか？
• RQ4 モデルフリー settingで保証が成立するために必要な条件（例：初期ポリシーの安定性、データ分布）は何か？
• RQ5 Gauss-Newton型更新はこの枠組みでより強い収束性をもたらすのか？

主な発見

• 適切なステップサイズの下で、正確な勾配法は最適政策へのグローバル収束を実現し、証明可能な収束率を持つ。
• モデルフリー（ゼロ次元）ポリシー勾配と自然ポリシー勾配は、示された仮定の下で多項式の計算・サンプル複雑度でグローバル最適解へ到達する。
• 自然ポリシー勾配はこのLQR設定において素朴な勾配降下より収束速度を証明可能に速くする。
• Gauss-Newton更新は検討した手法の中で最も強い理論的収束保証を提供する。
• この解析は最適制御理論、一次/ゼロ次の最適化、サンプルベースの強化学習を組み合わせてモデルベースとモデルフリーのアプローチを橋渡しする。