[논문 리뷰] Data-Driven Linear Quadratic Optimization for Controller Synthesis with Structural Constraints

Jun Ma, Zilong Cheng외 4명|arXiv (Cornell University)|2019. 12. 08.

Advanced Control Systems Optimization인용 수 4

한 줄 요약

이 논문은 제어기 이득 행렬에 구조적 제약 조건(예: 고정된 영성분 포함)이 있는 선형 정규화 제어(LQR) 문제를 해결하기 위한 데이터 기반 기울기 투영 방법을 제안한다. 시스템 데이터에서 기울기를 계산하고 이를 제약 조건 초평면에 투영함으로써, 알고리즘은 비용을 최소화하면서도 구조를 유지하면서 이동하여 반복적으로 이득 행렬을 업데이트한다. 모델 불확실성 하에서 모델 기반 방법보다 낮은 비용을 달성한다.

ABSTRACT

For various typical cases and situations where the formulation results in an optimal control problem, the Linear Quadratic Regulator (LQR) approach and its variants continue to be highly attractive. In certain scenarios, it can happen that some prescribed structural constraints on the gain matrix would arise. Consequently then, the Algebraic Riccati Equation (ARE) is no longer applicable in a straightforward way to obtain the optimal solution. This work presents a rather effective alternative optimization approach based on gradient projection. The utilized gradient is obtained through a data-driven methodology, and then projected onto applicable constrained hyperplanes. Essentially, this projection gradient determines a direction of progression and computation for the gain matrix update with a decreasing functional cost; and then the gain matrix is further refined in an iterative framework. With this formulation, a data-driven optimization algorithm is summarized for controller synthesis with structural constraints. This data-driven approach has the key advantage that it avoids the necessity of precise modeling which is always required in the classical model-based counterpart; and thus the approach can additionally accommodate various model uncertainties. Illustrative examples are also provided in the work to validate the theoretical results.

연구 동기 및 목표

• 구조적 제약 조건(예: 영성분 포함)이 있는 제어기 이득 행렬로 인해 대칭 리카티 방정식을 직접 사용할 수 없는 제약 조건이 있는 LQR 문제를 해결하는 데 도전한다.
• 정확한 시스템 모델에 의존하지 않는 모델 프리 최적화 프레임워크를 개발하여, 모델 불확실성이 존재할 경우에 특히 중요한 역할을 한다.
• 단순히 시스템 입력-출력 데이터만을 사용하여 분산형 또는 구조적으로 제약이 있는 제어 아키텍처에 효과적인 제어기 합성을 가능하게 한다.
• 투영된 기울기 하강법을 통해 최적화 중 수렴성과 비용 감소의 단조성 보장을 한다.
• 모델 정확도가 떨어지는 상황에서 기존의 모델 기반 접근보다 데이터 기반 방법의 우수성을 입증한다.

제안 방법

• 시스템 궤적에서 얻은 데이터를 사용하여 제어기 이득 행렬에 대한 LQR 비용 함수의 기울기를 유도함으로써, 명시적인 시스템 모델 지식이 필요 없도록 한다.
• 구조적 제약 조건(예: 고정된 영성분 포함)을 이득 행렬에 대한 선형 등식 제약 조건으로 표현하며, $ G_i K H_i = 0 $ 와 같이 행렬 $ G_i $ 와 $ H_i $ 를 통해 나타낸다.
• 구조적 제약 조건으로 정의된 타당 영역에 내림방향을 투영하는 기울기 투영 방법을 적용하여, 업데이트 과정에서 제약 조건을 유지한다.
• 투영된 기울기를 사용하여 반복적으로 제어기 이득 행렬을 업데이트함으로써, 비용 함수를 최소화하면서도 구조적 희박성(스패arsity)을 유지한다.
• 수렴성과 비용 감소를 보장하기 위해 선 탐색 또는 고정 단계 크기를 사용한다.
• 시스템 동역학 행렬이 필요 없이 오직 입력 및 상태 궤적 데이터만을 요구하는 데이터 기반 프레임워크에서 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 시스템 모델이 알려져 있거나 불확실한 상황에서 제어기 이득에 구조적 제약 조건이 있는 LQR 문제를 효과적으로 해결할 수 있는 데이터 기반 최적화 방법이 존재하는가?
• RQ2 모델 불일치 또는 불확실성 하에서 데이터 기반 기울기 투영 방법의 성능이 모델 기반 대비 방법과 비교해 어떻게 되는가?
• RQ3 제안된 방법은 비용 감소의 단조성과 수렴성을 보장하면서도, 예를 들어 희박성 또는 분산형 아키텍처와 같은 구조적 제약 조건을 유지하는가?
• RQ4 데이터 품질과 시스템 차원 수준이 데이터 기반 LQR 최적화의 확장성과 수렴성에 미치는 영향은 무엇인가?
• RQ5 이 방법은 고정된 영성분 외의 다양한 종류의 구조적 제약 조건을 다룰 수 있도록 일반화될 수 있는가?

주요 결과

• 제안된 데이터 기반 방법은 10회의 반복 후 비용 $ 8.2534 \times 10^2 $ 를 달성하여, 모델 기반 방법의 비용 $ 1.2060 \times 10^3 $ 보다 유의미하게 낮게 나타내어 모델 불확실성 하에서 뛰어난 성능을 입증했다.
• 제약 위반의 노름은 $ 5.6196 \times 10^{-5} $ 로 감소하여 최적화 과정에서 구조적 제약 조건이 엄격하게 이행됨을 나타냈다.
• 최적의 이득 행렬 $ K^* = \begin{bmatrix}-57.8053 & -18.8322 & 0 & 0 \\ 0 & 0 & -38.0592 & -7.3845\end{bmatrix} $ 은 시스템 모델 지식 없이 오직 데이터만을 사용하여 성공적으로 계산되었다.
• 시스템 응답 시뮬레이션(Fig. 7)은 초기 조건 $ x_0 = [1\text{ }0\text{ }1\text{ }0]^T $ 하에서 데이터 기반 제어기로 안정적이고 우수한 폐루프 동역학을 확인했다.
• 모델 기반 방법은 정규 조건에서는 낮은 비용을 달성했지만, 모델 불일치로 인해 변형된 시스템에서는 성능을 유지하지 못하여 데이터 기반 접근의 강건성을 입증했다.
• 반복 과정 全 과정에서 요구된 영성분 구조가 성공적으로 유지되었으며, 기울기 투영 메커니즘의 효과성을 확인했다.