[论文解读] Analysis of the Optimization Landscape of Linear Quadratic Gaussian (LQG) Control

Yang Zheng, Yujie Tang+1 more|arXiv (Cornell University)|Feb 8, 2021

Advanced Control Systems OptimizationEngineering被引用 18

一句话总结

本文从现代非凸优化的视角分析了线性二次高斯（LQG）控制的优化景观，重点关注稳定控制器的连通性与驻点的结构。证明了稳定控制器集合最多有两个路径连通分支，且这些分支通过相似变换实现微分同胚，并表明所有最小驻点均为全局最优，而非最小驻点则严格次优且数量众多。

ABSTRACT

This paper revisits the classical Linear Quadratic Gaussian (LQG) control from a modern optimization perspective. We analyze two aspects of the optimization landscape of the LQG problem: 1) connectivity of the set of stabilizing controllers $\mathcal{C}_n$; and 2) structure of stationary points. It is known that similarity transformations do not change the input-output behavior of a dynamical controller or LQG cost. This inherent symmetry by similarity transformations makes the landscape of LQG very rich. We show that 1) the set of stabilizing controllers $\mathcal{C}_n$ has at most two path-connected components and they are diffeomorphic under a mapping defined by a similarity transformation; 2) there might exist many \emph{strictly suboptimal stationary points} of the LQG cost function over $\mathcal{C}_n$ and these stationary points are always \emph{non-minimal}; 3) all \emph{minimal} stationary points are globally optimal and they are identical up to a similarity transformation. These results shed some light on the performance analysis of direct policy gradient methods for solving the LQG problem.

研究动机与目标

• 理解LQG优化景观的几何与分析性质，特别是稳定控制器可行集的连通性。
• 研究相似变换在塑造LQG控制非凸景观中的作用。
• 表征驻点的结构，特别是区分最小与非最小控制器。
• 为基于梯度的LQG控制方法的收敛性与性能提供理论基础。
• 将LQR优化的洞察扩展至具有部分可观测性与动态控制器的更复杂LQG场景。

提出的方法

• 使用微分拓扑分析严格真稳定动态控制器集合 $\mathcal{C}_n$，研究其路径连通分支。
• 应用相似变换在连通分支之间建立微分同胚关系，同时保持输入输出行为与LQG代价不变。
• 利用最小控制器（可控制且可观察）的概念对驻点进行分类，并利用优化景观中的对称性。
• 推导 $\mathcal{C}_n$ 连通的条件，表明开环稳定系统始终产生连通的可行集。
• 采用Riccati方程与矩阵分解（如 $X_{11} - X_{12}X_{22}^{-1}X_{12}^T$）验证驻点性与最优性条件。
• 为开环稳定系统构造显式非最小驻点族，并推导其非最优性的Hessian判别准则。

实验结果

研究问题

• RQ1 稳定控制器集合 $\mathcal{C}_n$ 最多可有多少个路径连通分支？
• RQ2 $\mathcal{C}_n$ 的连通分支是否在相似变换下微分同胚？
• RQ3 最小控制器与LQG中全局最优性之间存在何种结构关系？
• RQ4 是否存在严格次优的驻点？若存在，是否总是非最小？
• RQ5 在何种条件下可保证集合 $\mathcal{C}_n$ 连通？

主要发现

• 稳定控制器集合 $\mathcal{C}_n$ 最多有两个路径连通分支，且这些分支通过相似变换实现微分同胚。
• LQG代价函数的所有最小驻点均为全局最优，且在相似变换下等价。
• 存在无穷多个严格次优驻点，且所有此类点均为非最小。
• 对于开环稳定系统，集合 $\mathcal{C}_n$ 始终连通，并推导出连通性的充分条件。
• 建立了一项判别准则，用于检查非最小驻点处Hessian是否不定，从而确认其非最优性。
• LQG代价函数在相似变换下表现出丰富的对称性，该对称性构成了景观结构的基础，并解释了次优驻点的普遍性。