[論文レビュー] Convergence and sample complexity of gradient methods for the model-free linear quadratic regulator problem

Hesameddin Mohammadi, Armin Zare+2 more|arXiv (Cornell University)|Dec 26, 2019

Adaptive Dynamic Programming Control被引用数 6

ひとこと要約

本稿は、モデルフリーな連続時間線形二次調節器（LQR）問題における勾配フローおよび勾配降下法について、指数的安定性と線形収束を確立する。両者において、ϵ-精度に達するまでのシミュレーション時間および総関数評価回数が log(1/ϵ) のスケーリングを示し、従来の境界を著しく改善し、二点勾配推定における最適なサンプル複雑度を示している。

ABSTRACT

Model-free reinforcement learning attempts to find an optimal control action for an unknown dynamical system by directly searching over the parameter space of controllers. The convergence behavior and statistical properties of these approaches are often poorly understood because of the nonconvex nature of the underlying optimization problems and the lack of exact gradient computation. In this paper, we take a step towards demystifying the performance and efficiency of such methods by focusing on the standard infinite-horizon linear quadratic regulator problem for continuous-time systems with unknown state-space parameters. We establish exponential stability for the ordinary differential equation (ODE) that governs the gradient-flow dynamics over the set of stabilizing feedback gains and show that a similar result holds for the gradient descent method that arises from the forward Euler discretization of the corresponding ODE. We also provide theoretical bounds on the convergence rate and sample complexity of the random search method with two-point gradient estimates. We prove that the required simulation time for achieving $\\epsilon$-accuracy in the model-free setup and the total number of function evaluations both scale as $\\log \\, (1/\\epsilon)$.

研究の動機と目的

• モデルフリーな連続時間LQR問題における勾配ベース手法の収束性とサンプル複雑度を分析すること。
• 安定化フィードバックゲイン上での勾配フロー動的安定性を確立すること。
• 二点勾配推定を用いたランダムサーチにおける、シミュレーション時間および関数評価回数のタイトな理論的境界を導出すること。
• 従来のサンプル複雑度結果を改善し、1/ϵ に依存する多項式的または逆べき乗的依存関係ではなく、log(1/ϵ) のスケーリングを示すこと。

提案手法

• 非凸最適化のランドスケープを分析するため、LQR問題の凸再パrameter化を用いる。
• 通常微分方程式（ODE）を用いて勾配フロー動的を分析し、安定化フィードバックゲイン上での指数的安定性を証明する。
• 前進オイラー離散化を適用し、適切なステップサイズを用いた勾配降下法の収束保証を導出する。
• 真のシステムモデルにアクセスできない状況で勾配を近似するために、ランダムサーチフレームワーク内での二点勾配推定を採用する。
• Polyak–Łojasiewicz不等式およびリャプノフ解析を活用し、線形収束レートを確立する。
• 逆リャプノフ作用素ノルムの境界を導出し、最適化問題におけるヘッセ類似構造の条件数を制御する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーLQR問題における安定化フィードバックゲイン上での勾配フロー動的は、指数的安定性を示すか？
• RQ2 固定ステップサイズを用いた勾配降下法は、モデルフリーな連続時間LQR設定で線形収束を達成できるか？
• RQ3 モデルフリーLQR問題における二点勾配推定を用いたランダムサーチのサンプル複雑度は何か？
• RQ4 正確な勾配計算が不可能な状況で、必要なシミュレーション時間は、所望の精度 ϵ に対してどのようにスケーリングされるか？
• RQ5 関数評価総数を ϵ に関する多項式的または逆べき乗的依存関係より低く抑えることができるか？

主な発見

• 安定化フィードバックゲイン上での勾配フロー動的は指数的安定性を示し、最適コントローラへのグローバル収束を保証する。
• 適切なステップサイズを用いた勾配降下法は、システムパラメータおよびヘッセ類似構造の条件数に依存する線形収束レートで最適フィードバックゲインに収束する。
• 二点勾配推定を用いたランダムサーチ法において、必要なシミュレーション時間および総関数評価回数は、ϵ-精度に達するまで O(log(1/ϵ)) のスケーリングを示す。
• サンプル複雑度は、従来の研究と比較して顕著に改善されており、異なる仮定下で O(1/ϵ⁴ log(1/ϵ)) または O(1/ϵ²) の評価が必要であったのに対し、本稿では log(1/ϵ) のスケーリングを達成している。
• LQRコストの部分集合上での逆リャプノフ作用素ノルムは、一様に有界であるため、グローバル収束保証の導出が可能である。
• 結果は、目的関数値誤差およびフィードバックゲイン行列の誤差の両方に対して成り立つことから、パrameter空間における強力な収束性が確認される。