[論文レビュー] Analysis of the Optimization Landscape of Linear Quadratic Gaussian (LQG) Control

Yang Zheng, Yujie Tang+1 more|arXiv (Cornell University)|Feb 8, 2021

Advanced Control Systems OptimizationEngineering被引用数 18

ひとこと要約

本稿は、現代の非凸最適化の視点から、線形二次ガウス制御（LQG）の最適化の多様体を分析し、安定化コントローラーの接続性と停留点の構造に焦点を当てる。本稿では、安定化コントローラーの集合が高々2つのパス接続成分しか持たず、それらが類似変換によって微分同相であることを証明し、すべての最小停留点がグローバルに最適である一方、非最小停留点は厳密に劣悪であり、多数存在することを示している。

ABSTRACT

This paper revisits the classical Linear Quadratic Gaussian (LQG) control from a modern optimization perspective. We analyze two aspects of the optimization landscape of the LQG problem: 1) connectivity of the set of stabilizing controllers $\mathcal{C}_n$; and 2) structure of stationary points. It is known that similarity transformations do not change the input-output behavior of a dynamical controller or LQG cost. This inherent symmetry by similarity transformations makes the landscape of LQG very rich. We show that 1) the set of stabilizing controllers $\mathcal{C}_n$ has at most two path-connected components and they are diffeomorphic under a mapping defined by a similarity transformation; 2) there might exist many \emph{strictly suboptimal stationary points} of the LQG cost function over $\mathcal{C}_n$ and these stationary points are always \emph{non-minimal}; 3) all \emph{minimal} stationary points are globally optimal and they are identical up to a similarity transformation. These results shed some light on the performance analysis of direct policy gradient methods for solving the LQG problem.

研究の動機と目的

• LQG最適化の多様体の幾何的・解析的性質、特に安定化コントローラーの可解集合の接続性を理解すること。
• 類似変換がLQG制御の非凸的多様体をどのように形作るかを調査すること。
• 停留点の構造、特に最小コントローラーと非最小コントローラーの区別を特徴づけること。
• LQG制御における勾配ベースの最適化手法の収束性と性能に関する理論的基盤を提供すること。
• 部分的観測と動的コントローラーを伴うより複雑なLQG設定へ、LQR最適化からの知見を拡張すること。

提案手法

• 微分位相幾何学を用いて、厳密に適切な安定化動的コントローラーの集合 $\mathcal{C}_n$ のパス接続成分を分析する。
• 類似変換を適用して、接続成分間の微分同相性を確立し、入出力動作とLQGコストを保存する。
• 可制御かつ可観測な最小コントローラーの概念を用いて停留点を分類し、最適化多様体における対称性を活用する。
• $\mathcal{C}_n$ が連結である条件を導出し、開ループ安定系では常に可解集合が連結であることを示す。
• リカッチ方程式と行列因子分解（例：$X_{11} - X_{12}X_{22}^{-1}X_{12}^T$）を用いて停留性および最適性条件を検証する。
• 開ループ安定系に対して、非最小停留点の明示的族を構築し、その非最適性を確認するヘッセ行列の基準を導出する。

実験結果

リサーチクエスチョン

• RQ1 安定化コントローラーの集合 $\mathcal{C}_n$ が持てるパス接続成分の数は最大でいくつか？
• RQ2 $\mathcal{C}_n$ の接続成分は類似変換の下で微分同相であるか？
• RQ3 LQGにおいて、最小コントローラーとグローバル最適性の構造的関係は何か？
• RQ4 厳密に劣悪な停留点は存在しうるのか？ もし存在するならば、それらは常に非最小であるか？
• RQ5 $\mathcal{C}_n$ が常に連結であるための条件は何か？

主な発見

• 安定化コントローラーの集合 $\mathcal{C}_n$ は高々2つのパス接続成分しか持たず、それらは類似変換によって微分同相である。
• LQGコスト関数のすべての最小停留点はグローバルに最適であり、類似変換の下で等価である。
• 無限に多くの厳密に劣悪な停留点が存在し、それらすべてが非最小である。
• 開ループ安定系では、集合 $\mathcal{C}_n$ は常に連結であり、連結性の十分条件が導出された。
• 非最小停留点におけるヘッセ行列が不定であるかどうかを確認する基準が確立され、非最適性が裏付けられた。
• LQGコスト関数は類似変換の下で豊かな対称性を示し、これが多様体構造の根拠となり、劣悪な停留点の広範な存在を説明する。