[論文レビュー] Policy Gradient-based Algorithms for Continuous-time Linear Quadratic Control

Jingjing Bu, Afshin Mesbahi+1 more|arXiv (Cornell University)|Jun 12, 2020

Adaptive Dynamic Programming Control参考文献 29被引用数 11

ひとこと要約

本稿は、連続時間線形二次調節器（LQR）問題に対するポリシー勾配ベースのアルゴリズムを提案し、安定化フィードバックゲインの関数として最適制御ゲインを行列関数として定式化する。滑らかさ、強制性、勾配優位性の性質を確立し、勾配フロー、自然勾配フロー、準ニュートンフローの収束保証を可能にし、適切なステップサイズ則のもとで線形およびQ-二次収束率を達成する。また、射影勾配降下法を用いてスパース制御合成へと拡張され、部分線形収束が保証される。

ABSTRACT

We consider the continuous-time Linear-Quadratic-Regulator (LQR) problem in terms of optimizing a real-valued matrix function over the set of feedback gains. The results developed are in parallel to those in Bu et al. [1] for discrete-time LTI systems. In this direction, we characterize several analytical properties (smoothness, coerciveness, quadratic growth) that are crucial in the analysis of gradient-based algorithms. We also point out similarities and distinctive features of the continuous time setup in comparison with its discrete time analogue. First, we examine three types of well-posed flows direct policy update for LQR: gradient flow, natural gradient flow and the quasi-Newton flow. The coercive property of the corresponding cost function suggests that these flows admit unique solutions while the gradient dominated property indicates that the underling Lyapunov functionals decay at an exponential rate; quadratic growth on the other hand guarantees that the trajectories of these flows are exponentially stable in the sense of Lyapunov. We then discuss the forward Euler discretization of these flows, realized as gradient descent, natural gradient descent and quasi-Newton iteration. We present stepsize criteria for gradient descent and natural gradient descent, guaranteeing that both algorithms converge linearly to the global optima. An optimal stepsize for the quasi-Newton iteration is also proposed, guaranteeing a $Q$-quadratic convergence rate--and in the meantime--recovering the Kleinman-Newton iteration. Lastly, we examine LQR state feedback synthesis with a sparsity pattern. In this case, we develop the necessary formalism and insights for projected gradient descent, allowing us to guarantee a sublinear rate of convergence to a first-order stationary point.

研究の動機と目的

• 連続時間LQRにおける勾配ベース最適化手法の開発。リッカティ方程式を解かずにフィードバックゲインを直接更新する。
• 安定化フィードバックゲイン上でのLQRコスト関数の解析的性質（滑らかさ、強制性、勾配優位性、二次的成長）の確立。
• 連続時間フロー（勾配、自然勾配、準ニュートン）の解析と、リャプノフ安定性およびリャプノフ汎関数の指数的減衰を用いた収束の分析。
• 離散時間対応（勾配降下、自然勾配降下、準ニュートン）のためのステップサイズ基準を導出。線形およびQ-二次収束を保証する。
• スパースパターンを有する構造的LQRにフレームワークを拡張し、射影勾配降下法を用いて構造的整合性を維持しながら、1階の停留点への部分線形収束を保証する。

提案手法

• 初期状態に依存しないように、線形独立な初期条件の平均を取ることで、無限時間LQRコストを安定化フィードバックゲイン上の行列関数として再定式化し、初期状態依存性を排除する。
• 得られたコスト関数が滑らかで、強制的かつ勾配優位であることを証明し、コンactな下位集合とグローバル最小値の存在を保証する。
• 勾配フロー、自然勾配フロー、準ニュートンフローの3つの連続時間フローを解析し、リャプノフ汎関数の指数的減衰および軌道の指数的安定性を示す。
• フローの前向きオイラー離散化として、勾配降下、自然勾配降下、準ニュートン反復を導出し、線形収束を保証する明示的なステップサイズ条件を提示する。
• Q-二次収束を達成する最適ステップサイズを準ニュートン反復に導出し、クラシカルなクラスマン-ニュートン法に回復する。
• スパース制約を有する構造的LQRに対して、更新をスパースパターン上に射影することで構造的整合性を維持する射影勾配降下フレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 リッカティ代数方程式を解かずに、連続時間LQR問題にポリシー勾配法を厳密に適用可能か？
• RQ2 連続時間におけるフィードバックゲイン上でのLQRコスト関数は、滑らかさ、強制性、勾配優位性のどの解析的性質を有するか？
• RQ3 連続時間のポリシー更新フロー（勾配、自然勾配、準ニュートン）は一意な解を有し、リャプノフ汎関数の指数的減衰および指数的安定性を示すか？
• RQ4 連続時間LQRにおける離散時間勾配降下および自然勾配降下の線形収束を保証するステップサイズ条件は何か？
• RQ5 射影勾配降下法を用いてスパース制約を有する構造的LQRを解くことは可能か。また、どのような収束速度を保証できるか？

主な発見

• 安定化フィードバックゲイン上でのLQRコスト関数は滑らかで、強制的かつ勾配優位であり、コンパクトな下位集合とグローバル最小値の存在を保証する。
• 勾配フロー、自然勾配フロー、準ニュートンフローはすべて一意な解を有し、リャプノフ汎関数の指数的減衰を示す。軌道はリャプノフの意味で指数的安定である。
• 導出されたステップサイズ基準のもとで、勾配降下および自然勾配降下はグローバル最適解へ線形収束する。ステップサイズは下位集合上でゼロから離れている。
• 準ニュートン反復に最適なステップサイズを導出することで、Q-二次収束を達成し、古典的なクラスマン-ニュートン法に回復する。
• スパースパターンを有する構造的LQRに対する射影勾配降下法は、1階の停留点への部分線形収束率を達成する。