[論文レビュー] On the Global Convergence of Actor-Critic: A Case for Linear Quadratic Regulator with Ergodic Cost

Zhuoran Yang, Yongxin Chen+2 more|arXiv (Cornell University)|Jul 14, 2019

Reinforcement Learning in Robotics参考文献 65被引用数 27

ひとこと要約

本稿は、定常コストを伴う線形二次調節器（LQR）におけるアクタ・クリティックの非漸近的グローバル収束解析を初めて確立し、グローバルに最適な方策および価値関数への線形収束を証明した。本研究は、連続的行動空間と確率的近似を考慮した際のアクタとクリティックの非同期的相互作用を分析することで、アクタ・クリティックにおける主要な不安定要因を解消した。

ABSTRACT

Despite the empirical success of the actor-critic algorithm, its theoretical understanding lags behind. In a broader context, actor-critic can be viewed as an online alternating update algorithm for bilevel optimization, whose convergence is known to be fragile. To understand the instability of actor-critic, we focus on its application to linear quadratic regulators, a simple yet fundamental setting of reinforcement learning. We establish a nonasymptotic convergence analysis of actor-critic in this setting. In particular, we prove that actor-critic finds a globally optimal pair of actor (policy) and critic (action-value function) at a linear rate of convergence. Our analysis may serve as a preliminary step towards a complete theoretical understanding of bilevel optimization with nonconvex subproblems, which is NP-hard in the worst case and is often solved using heuristics.

研究の動機と目的

• 強化学習におけるアクタ・クリティックのアルゴリズム的不安定性に関する理論的理解の不足に対処すること。
• 定常コストを伴う基本的LQR設定におけるアクタ・クリティックの非漸近的収束解析を提供すること。
• 古典的二時刻スケールの漸近的解析の制限を克服し、グローバルに最適なアクタ・クリティック対への線形収束率を確立すること。
• この設定における収束に必要なサンプル複雑度を特定すること。
• 非凸部分問題と依存データを伴う二段階最適化のための新規な解析フレームワークを開発すること。

提案手法

• 定常コストを伴うLQR設定におけるアクタ・クリティックの非漸近的収束解析を提案し、これを二段階最適化問題として扱う。
• 行動方策勾配（アクタ）と勾配時系列差分（クリティック）の非同期的更新を分析し、移動目標問題とバイアス勾配問題を扱う。
• 依存データと定常コストの下で、勾配時系列差分アルゴリズムのサブ線形収束を確立した。これは重要な技術的副産物である。
• 行列解析と固有値のバインドを用いて、ヘッセに類似た作用素の最小特異値を特徴づけ、逆行列可能性と安定性を保証する。
• 対称クライマーク積と固有値分解の結果を応用し、システム行列の条件数のバインドを導出する。
• システム行列の条件数に対する明示的バインドを、閉ループシステムのスペクトル半径とノイズ分散の観点から導出する。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的不安定性が存在するにもかかわらず、定常コストを伴うLQR設定におけるアクタ・クリティックはグローバル収束を達成できるか？
• RQ2 この設定におけるアクタ・クリティックの非漸近的収束速度は何か？線形収束が可能か？
• RQ3 アクタとクリティックの更新の相互作用は収束にどのように影響するか？理論的にどのように制御できるか？
• RQ4 定常コストを伴うLQRにおける最適方策に収束するためのアクタ・クリティックに必要なサンプル複雑度は何か？
• RQ5 依存データと定常コストの下で、勾配時系列差分アルゴリズムの収束を解析できるか？

主な発見

• 定常コストを伴うLQR設定において、アクタ・クリティックはグローバルに最適な方策および価値関数へ線形速度で収束する。
• 古典的二時刻スケールの漸近的解析とは異なり、本解析は非漸近的収束速度とサンプル複雑度の境界を提供する。
• 閉ループシステムのスペクトル半径とノイズ分散に関する弱い条件下でも、システム行列の最小特異値がゼロから離れていることが保証される。
• 依存データと定常コストの下で、勾配時系列差分アルゴリズムのサブ線形収束速度が確立された。これは独立に価値のある結果である。
• システム行列の条件数は、閉ループシステムのスペクトル半径と状態・行動共分散行列の最小固有値の観点からバインドされる。
• 連続的行動空間と確率的近似の下でも、適切なステップサイズとノイズ条件のもとでグローバル収束が達成可能であることが解析によって示された。