[논문 리뷰] Analysis of the Optimization Landscape of Linear Quadratic Gaussian (LQG) Control

Yang Zheng, Yujie Tang외 1명|arXiv (Cornell University)|2021. 02. 08.

Advanced Control Systems OptimizationEngineering인용 수 18

한 줄 요약

이 논문은 현대 비볼록 최적화 관점에서 선형 정규화 제어(LQG) 제어의 최적화 지형을 분석하며, 안정화 제어기의 연결성과 정류점의 구조에 초점을 맞춘다. 연구는 안정화 제어기의 집합이 최대 두 개의 경로 연결 성분을 가지며, 이 성분들이 유사성 변환을 통해 미분동형(diffeomorphic)임을 증명하고, 모든 최소 정류점이 전역적으로 최적임을 보이며, 비최소 정류점은 엄밀히 열 劣임과 함께 풍부하게 존재함을 밝힌다.

ABSTRACT

This paper revisits the classical Linear Quadratic Gaussian (LQG) control from a modern optimization perspective. We analyze two aspects of the optimization landscape of the LQG problem: 1) connectivity of the set of stabilizing controllers $\mathcal{C}_n$; and 2) structure of stationary points. It is known that similarity transformations do not change the input-output behavior of a dynamical controller or LQG cost. This inherent symmetry by similarity transformations makes the landscape of LQG very rich. We show that 1) the set of stabilizing controllers $\mathcal{C}_n$ has at most two path-connected components and they are diffeomorphic under a mapping defined by a similarity transformation; 2) there might exist many \emph{strictly suboptimal stationary points} of the LQG cost function over $\mathcal{C}_n$ and these stationary points are always \emph{non-minimal}; 3) all \emph{minimal} stationary points are globally optimal and they are identical up to a similarity transformation. These results shed some light on the performance analysis of direct policy gradient methods for solving the LQG problem.

연구 동기 및 목표

• LQG 최적화 지형의 기하학적 및 분석적 성질을 이해하고, 특히 안정화 제어기의 탇가능 영역의 연결성을 분석하는 것.
• 유사성 변환이 LQG 제어의 비볼록 지형을 어떻게 형성하는지 탐구하는 것.
• 특히 최소 제어기와 비최소 제어기 간의 차이를 구분하여 정류점의 구조를 특성화하는 것.
• LQG 제어에서 기울기 기반 방법의 수렴성과 성능에 대한 이론적 기초를 제공하는 것.
• 부분 관측 가능성과 동적 제어기를 고려한 더 복잡한 LQG 설정으로 LQR 최적화의 통찰을 확장하는 것.

제안 방법

• 비볼록 최적화의 도구를 활용하여, 엄밀히 적절한 안정화 동적 제어기의 집합인 $\mathcal{C}_n$ 의 경로 연결 성분을 미분위상수학적으로 분석한다.
• 유사성 변환을 적용하여 연결 성분 간의 미분동형성을 확립하고, 입력-출력 행동과 LQG 비용을 유지한다.
• 제어기의 최소성(제어 가능성과 관측 가능성) 개념을 도입하여 정류점을 분류하고 최적화 지형 내 대칭성을 활용한다.
• 특히 $\mathcal{C}_n$ 이 연결됨을 보장하는 조건을 유도하며, 개방 루프로 안정된 시스템의 경우 항상 타당 영역이 연결됨을 보여준다.
• 리카티 방정식과 행렬 분해(예: $X_{11} - X_{12}X_{22}^{-1}X_{12}^T$)를 활용하여 정류성 및 최적성 조건을 검증한다.
• 개방 루프로 안정된 시스템에 대해 비최소 정류점의 명시적 가족을 구성하고, 비최적성 여부를 판단하기 위한 헤시안 기준을 도출한다.

실험 결과

연구 질문

• RQ1 안정화 제어기의 집합 $\mathcal{C}_n$ 이 가질 수 있는 경로 연결 성분의 수는 최대 몇 개인가?
• RQ2 $\mathcal{C}_n$ 의 연결 성분들이 유사성 변환에 의해 미분동형인가?
• RQ3 LQG에서 최소 제어기와 전역 최적성 간의 구조적 관계는 무엇인가?
• RQ4 엄밀히 열 劣인 정류점이 존재할 수 있으며, 만약 존재한다면 항상 비최소인가?
• RQ5 $\mathcal{C}_n$ 이 항상 연결됨을 보장하는 조건은 무엇인가?

주요 결과

• 안정화 제어기의 집합 $\mathcal{C}_n$ 은 최대 두 개의 경로 연결 성분을 가지며, 이 성분들은 유사성 변환을 통해 미분동형이다.
• LQG 비용 함수의 모든 최소 정류점은 전역적으로 최적이며, 유사성 변환에 대해 동치이다.
• 무한히 많은 엄밀히 열 劣인 정류점이 존재하며, 이러한 모든 점들은 비최소이다.
• 개방 루프로 안정된 시스템의 경우 집합 $\mathcal{C}_n$ 은 항상 연결되어 있으며, 연결성을 보장하는 충분조건이 도출되었다.
• 비최소 정류점에서 헤시안이 부정정임을 확인할 수 있는 기준이 설정되었으며, 이는 비최적성의 확인을 가능하게 한다.
• LQG 비용 함수는 유사성 변환에 대해 풍부한 대칭성을 보이며, 이는 지형의 구조를 뒷받침하고 비최적 정류점의 흔함을 설명한다.