[논문 리뷰] Efficient Learning of Distributed Linear-Quadratic Controllers

Salar Fattahi, Nikolai Matni외 1명|arXiv (Cornell University)|2019. 09. 21.

Advanced Control Systems Optimization참고 문헌 76인용 수 8

한 줄 요약

이 논문은 알려지지 않은 그러나 희소한 선형 시간 불변 시스템에서 분산형 선형-제곱형 제어기를 학습하기 위한 강건하고 확장 가능한 방법을 제안한다. Lasso를 통한 구조적 시스템 식별과 System Level Synthesis(SLS) 프레임워크를 조합함으로써, 하위선형 표본 복잡도와 거의 선형 시간 복잡도를 달성하며, 최소한의 데이터로 안정성과 거의 최적의 성능를 보장한다. 40노드 시스템에서 약 150개의 표본만으로도 오라클 성능을 재현함을 입증하였다.

ABSTRACT

In this work, we propose a robust approach to design distributed controllers for unknown-but-sparse linear and time-invariant systems. By leveraging modern techniques in distributed controller synthesis and structured linear inverse problems as applied to system identification, we show that near-optimal distributed controllers can be learned with sub-linear sample complexity and computed with near-linear time complexity, both measured with respect to the dimension of the system. In particular, we provide sharp end-to-end guarantees on the stability and the performance of the designed distributed controller and prove that for sparse systems, the number of samples needed to guarantee robust and near optimal performance of the designed controller can be significantly smaller than the dimension of the system. Finally, we show that the proposed optimization problem can be solved to global optimality with near-linear time complexity by iteratively solving a series of small quadratic programs.

연구 동기 및 목표

• 대규모이자 알려지지 않은, 희소한 선형 시간 불변 시스템에 대해 안정성과 성능를 보장하는 분산 제어기를 설계하기 위해.
• 특히 희소 시스템에서 시스템 차원 이하의 표본 복잡도를 낮추기 위해 최적의 제어기를 학습하기 위한 표본 수를 줄이기 위해.
• 시스템 크기와 거의 선형적인 시간 복잡도를 달성함으로써 계산 효율성을 확보하기 위해.
• 모델 불확실성 하에서 안정성, 강건성, 성능 갭에 대한 종단 간 이론적 보장을 제공하기 위해.
• 스마트 그리드 및 교통 네트워크와 같은 안전이 중요한 인프라에 실용적으로 구현 가능하게 하기 위해.

제안 방법

• 분산 제어기를 국소화된 구조로 파arameter화하기 위해 System Level Synthesis(SLS) 프레임워크를 활용한다.
• 단일 시스템 데이터 트랙토리로부터 $A_\star$ 및 $B_\star$의 희소한 시스템 행렬을 Lasso 기반 정규화 추정기로 식별한다.
• 추정 오차의 날카운 대응 상한을 데이터 기반으로 계산하기 위해 부트스트랩 기반 방법(알고리즘 2)을 적용한다.
• 모델 불확실성을 고려하고 안정성을 보장하는 방식으로 알고리즘 1을 통해 강건한 분산 제어기를 설계한다.
• 실용성과 국소화 가능성을 보장하기 위해 제어기의 구현에 유한 인과 반응(FIR) 구조를 사용한다.
• 작은 2차 프로그래밍을 반복적으로 풀어 최적화 문제를 해결함으로써 거의 선형 시간 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 알려지지 않은, 희소한 선형 시스템에서 안정성과 성능 보장을 보장하는 효율적인 분산 제어기를 학습할 수 있는가?
• RQ2 거의 최적의 성능를 갖는 분산 제어기를 학습하기 위해 필요한 최소 표본 수는 얼마인가?
• RQ3 분산 제어기 합성의 계산 복잡도를 시스템 치수와 거의 선형적으로 만들 수 있는가?
• RQ4 FIR 길이의 선택이 학습된 제어기의 성능와 강건성에 어떤 영향을 미치는가?
• RQ5 부트스트랩 기반 추정 오차 상한은 실질적으로 진짜 모델 오차를 신뢰성 있게 봉인할 수 있는가?

주요 결과

• 제안된 방법은 하위선형 표본 복잡도를 달성한다: 40노드 시스템에서 오라클 제어기 비용을 따라잡기 위해 약 150개의 표본만으로도 충분했으며, 이는 시스템 행렬의 비제로 원소 수와 약간 유사하다.
• 제한된 데이터로도 종단 간 제어기 성능이 오라클 비용에 매우 가까이 맞추어지며, 거의 최적의 성능를 보여준다.
• 실험적으로 런타임이 $\mathcal{O}(n^{1.004})$로 스케일링됨을 확인하여 거의 선형 시간 복잡도를 확인하였고, 알고리즘은 매우 고도로 병렬화 가능하다.
• FIR 길이를 4에서 8로 늘일 경우 성능 향상이 뚜렷하지만, 8에서 12로 늘일 경우는 근소한 성능 향상만을 보이며, 이는 $L=8$이 실용적인 선택임을 시사한다.
• 부트스트랩 기반 추정 오차는 실제 추정 오차를 신뢰성 있게 봉인하며, 불확실성 정량화 방법의 타당성을 검증한다.
• 시스템 행렬이 알려지지 않았고 데이터로부터 추정되었음에도 불구하고, 이 방법은 진짜 시스템에 대해 안정성과 거의 최적의 성능를 보장한다.