[論文レビュー] Global Convergence of Policy Gradient Methods for Linearized Control Problems.

Maryam Fazel, Rong Ge+2 more|arXiv (Cornell University)|Feb 15, 2018

Advanced Control Systems Optimization被引用数 29

ひとこと要約

本稿は、線形化制御問題、特に線形二次調節器（LQR）におけるポリシー勾配法のグローバル収束性および多項式的サンプル／計算効率を確立する。モデルフリーのポリシー勾配手法が、システム同定を必要とせずに最適ポリシーに収束することを証明し、モデルフリーとモデルベースの最適制御の理論的ギャップを埋める。

ABSTRACT

Direct policy gradient methods for reinforcement learning and continuous control problems are a popular approach for a variety of reasons: 1) they are easy to implement without explicit knowledge of the underlying model 2) they are an end-to-end approach, directly optimizing the performance metric of interest 3) they inherently allow for richly parameterized policies. A notable drawback is that even in the most basic continuous control problem (that of linear quadratic regulators), these methods must solve a non-convex optimization problem, where little is understood about their efficiency from both computational and statistical perspectives. In contrast, system identification and model based planning in optimal control theory have a much more solid theoretical footing, where much is known with regards to their computational and statistical properties. This work bridges this gap showing that (model free) policy gradient methods globally converge to the optimal solution and are efficient (polynomially so in relevant problem dependent quantities) with regards to their sample and computational complexities.

研究の動機と目的

• 連続制御におけるポリシー勾配法の理論的理解の不足に取り組むこと、特に収束性とサンプル効率性について。
• モデルフリーのポリシー勾配法が、線形二次調節器（LQR）問題においてグローバル収束性と多項式時間効率性を達成できるかどうかを調査すること。
• 理論的保証がより強いモデルベース最適制御と比較して、モデルフリー強化学習とモデルベース最適制御の理論的ギャップを埋めること。
• ポリシー勾配法がLQR設定において、システム同定とモデルベース計画の計算的・統計的効率性に匹敵する性能を達成できることを示すこと。

提案手法

• 線形二次調節器（LQR）という代表的な連続制御問題の文脈で、ポリシー勾配更新を分析する。
• 制御ゲインの直接最適化を可能にする、線形フィードバックコントローラーとしてのポリシーのパラメータ化を採用する。
• LQR設定において、ポリシー勾配目的関数がグローバルに良好に振る舞い、偽の局所最適解を有しないことを確立する。
• 滑らかで微分可能なポリシーのパラメータ化を用いることで、明示的なシステムダイナミクスを必要とせずに勾配ベース最適化を可能にする。
• 非凸最適化と制御理論の道具を適用し、グローバル最適解への収束を証明する。
• 必要なサンプル数と反復回数が、システム次元や条件数などの問題依存パラメータに対して多項式的にスケーリングされることを示す。

実験結果

リサーチクエスチョン

• RQ1 ポリシー勾配法は、線形二次調節器（LQR）問題において、最適ポリシーにグローバルに収束できるか？
• RQ2 LQR設定におけるポリシー勾配法のサンプルおよび計算複雑度は何か？
• RQ3 理論的保証の観点から、モデルフリーのポリシー勾配法とモデルベース手法の性能はどのように比較できるか？
• RQ4 連続制御問題において、ポリシー勾配法が悪い局所最適解を回避する条件は何か？
• RQ5 線形化制御問題において、ポリシー勾配法の収束を多項式的サンプルおよび時間複雑度で証明できるか？

主な発見

• 非凸性にもかかわらず、ポリシー勾配法は線形二次調節器（LQR）問題において最適ポリシーにグローバルに収束する。
• 収束は明示的に効率的であり、サンプル数と計算複雑度が関連する問題依存パラメータに対して多項式的にスケーリングされる。
• LQRにおけるポリシー勾配目的関数には偽の局所最適解が存在せず、勾配上昇法が信頼性を持ってグローバル最適解に到達する。
• システム同定や環境ダイナミクスの明示的知識を必要とせずに、最適な性能を達成できる。
• 理論的保証がモデルベース最適制御手法と同等またはそれ以上であり、主要な理論的ギャップを埋めることを示した。
• 本結果により、モデルフリーのポリシー勾配法が線形化制御問題において実用的であるだけでなく、理論的にも妥当であることが確立された。