[論文レビュー] Single Time-scale Actor-critic Method to Solve the Linear Quadratic Regulator with Convergence Guarantees

Mo Zhou, Jianfeng Lu|arXiv (Cornell University)|Jan 31, 2022

Frequency Control in Power Systems被引用数 4

ひとこと要約

本稿では、補正者に最小二乗時系列差分（LSTD）を、エージェントに自然政策勾配法を用いた、1つの時間スケールで動作するアクタ・クリティックアルゴリズムを提案する。この手法により、ε-最適解への収束が保証され、サンプル複雑度は𝒪(ε⁻¹ log(ε⁻¹)²)となる。これは、LQR問題に対して、1つの時間スケールフレームワークで、初めての明示的保証を持つ収束結果である。

ABSTRACT

We propose a single time-scale actor-critic algorithm to solve the linear quadratic regulator (LQR) problem. A least squares temporal difference (LSTD) method is applied to the critic and a natural policy gradient method is used for the actor. We give a proof of convergence with sample complexity $\mathcal{O}(\varepsilon^{-1} \log(\varepsilon^{-1})^2)$. The method in the proof is applicable to general single time-scale bilevel optimization problem. We also numerically validate our theoretical results on the convergence.

研究の動機と目的

• 正確な下位最適化が得られない状況下でも、最適制御における収束の課題に取り組む。
• 二段階最適化における誤差伝搬問題を、アクタとクリティックの更新を同時に分析することで克服する。
• LQR設定において、1つの時間スケールで動作するアクタ・クリティックアルゴリズムに対して、明示的なサンプル複雑度を伴う収束証明を初めて提供する。
• クリティック誤差とアクタ損失を同時に追跡できるリャプノフ関数を構築し、収縮性と収束性を確立する。
• LQRを超えた一般の1時間スケール二段階最適化問題へ、理論的枠組みを拡張する。

提案手法

• クリティックの価値関数推定に最小二乗時系列差分（LSTD）を適用し、勾配の明示的計算とサンプルベースの近似を実施する。
• アクタの更新に自然政策勾配法を用い、クリティックの価値推定に基づいて方策性能を向上させる。
• クリティック推定誤差とアクタ損失（J(Kₜ) − J(K*))を組み合わせた合成リャプノフ関数を構築し、収束を共同で分析する。
• クリティック誤差またはアクタ損失が大きい、あるいは両者が小さい場合に、リャプノフ関数の収縮を確立する。
• スペクトルノルムと行列定数（例：σ_min(D_ε), c_D, c₃）を用いて更新ステップの境界を導出し、誤差伝搬を制御する。
• 一定のステップサイズβₜとαₜを用い、リャプノフ関数における収縮率（1 − βₜc₄）を保証することで収束を達成する。

実験結果

リサーチクエスチョン

• RQ1 2つの異なる時間スケールを必要とせずに、1つの時間スケールで動作するアクタ・クリティック手法が、LQR問題に対して収束を達成できるか？
• RQ2 明示的な保証を持つ1時間スケールアクタ・クリティックアルゴリズムが、LQR問題に対して達成可能な最適なサンプル複雑度は何か？
• RQ3 正確な下位最適化が得られない状況下で、アクタとクリティック誤差の相互作用をどのように共同で分析し、収束を保証できるか？
• RQ4 提案手法を、LQRを超える他の1時間スケール二段階最適化問題へ一般化できるか？
• RQ5 リャプノフ関数は、アクタ・クリティック同時更新プロセスにおける収縮性と安定性をどのように確保するか？

主な発見

• 提案手法は、ε-最適解への収束が保証され、サンプル複雑度𝒪(ε⁻¹ log(ε⁻¹)²)を達成する。これは、従来の2時間スケール手法よりも顕著に優れている。
• リャプノフ関数を構築することで収束を証明し、クリティック誤差またはアクタ損失が大きい場合に、関数が時間とともに収縮することを示した。これにより、グローバル収束が保証される。
• 上位レベルの損失関数が強い凸性を満たす必要がないため、先行研究よりも広い問題クラスに適用可能である。
• 勾配差の境界とステップサイズの制御により、リャプノフ関数の収縮が確立され、その期待値が率(1 − βₜc₄)で減少することが保証される。
• クリティック誤差とアクタ損失が両方ともε/2未満に下がると、リャプノフ関数の値もε未満に保たれ、最適解への収束が示される。
• 各ステップでクリティック問題の正確な解を必要としないため、効率的かつ実用的な実装が可能である。