[논문 리뷰] Learning the Globally Optimal Distributed LQ Regulator

Luca Furieri, Yang Zheng외 1명|arXiv (Cornell University)|2019. 12. 18.

Advanced Control Systems Optimization참고 문헌 23인용 수 30

한 줄 요약

이 논문은 부분공간 제약 조건 하에 전역 최적의 분산 선형-제곱(LQ) 조절기를 모델 기반 최적화 없이, 제로차수 최적화와 기울기 지배 성질을 활용하여 학습하는 방법을 제안한다. 유한한 시간 간격 분산 LQ 문제에서 전역 최적의 출력 피드백 조절기를 학습하기 위한 첫 번째 샘플 복잡도 한계를 설정하며, 특히 이차적으로 관계가 있는(Qualitatively Invariant, QI) 문제와 일부 비-QI 문제에 대해 적용 가능하다.

ABSTRACT

We study model-free learning methods for the output-feedback Linear Quadratic (LQ) control problem in finite-horizon subject to subspace constraints on the control policy. Subspace constraints naturally arise in the field of distributed control and present a significant challenge in the sense that standard model-based optimization and learning leads to intractable numerical programs in general. Building upon recent results in zeroth-order optimization, we establish model-free sample-complexity bounds for the class of distributed LQ problems where a local gradient dominance constant exists on any sublevel set of the cost function. %which admit a local gradient dominance constant valid on the sublevel set of the cost function. We prove that a fundamental class of distributed control problems - commonly referred to as Quadratically Invariant (QI) problems - as well as others possess this property. To the best of our knowledge, our result is the first sample-complexity bound guarantee on learning globally optimal distributed output-feedback control policies.

연구 동기 및 목표

• 부분공간 제약 조건이 있는 유한한 시간 간격 LQ 문제에서 전역 최적의 분산 출력 피드백 조절기를 학습하는 데 도전 과제를 해결한다.
• 분산 제어의 모델 기반 최적화가 NP-완전성과 분리된 타당 집합으로 인해 비가역적임을 극복한다.
• 시스템 모델링을 피하고 궤적 데이터에서 직접 제어 정책을 최적화하는 모델 기반 학습 프레임워크를 개발한다.
• 현실적인 가정 하에 전역 최적점으로의 수렴을 위한 이론적 샘플 복잡도 한계를 설정한다.
• 이차적으로 관계가 있는(QI) 문제와 일부 비-QI 문제에서 국소 기울기 지배 성질이 성립함을 증명하여 효율적인 학습을 가능하게 한다.

제안 방법

• 시간에 따라 변화하는 동적 선형 정책으로 제약된 부분공간 내에서 분산 LQ 제어 문제를 유한한 시간 간격 최적화 문제로 수식화한다.
• 시스템 모델 없이 궤적 데이터에서 직접 제어기 파라미터를 학습하기 위해 제로차수 최적화 기법을 활용한다.
• 비용 함수의 하위레벨 집합에서 국소 기울기 지배 성질을 도입하고 활용하여 전역 최적점으로의 수렴을 보장한다.
• 왜곡 및 노이즈 분포의 스펙트럼 성질을 사용하여 비용 함수의 곡률과 기울기 노름의 경계를 설정한다.
• 기울기 지배 성질과 농도 불확실성 부등식 및 정책 파라미터의 섭동 분석을 조합하여 샘플 복잡도 한계를 유도한다.
• 기존에 알려진 최적 해가 존재하는 유한한 시간 간격 분산 제어 문제에서 이론적 결과를 수치 실험을 통해 검증한다.

실험 결과

연구 질문

• RQ1 모델 기반 학습이 부분공간 제약 조건 하에 분산 LQ 제어에서 전역 최적성을 달성할 수 있는가?
• RQ2 어떤 제어 문제의 구조적 성질이 모델 기반 학습 방법의 전역 수렴을 가능하게 하는가?
• RQ3 유한한 시간 간격 LQ 문제에서 ϵ-하위최적의 분산 제어기를 달성하기 위해 필요한 샘플 복잡도는 얼마인가?
• RQ4 이차적으로 관계가 있는(QI) 문제와 기타 구조적 클래스는 효율적인 학습에 필수적인 국소 기울기 지배 성질을 만족하는가?
• RQ5 수렴성과 샘플 효율성 측면에서 기존의 모델 기반 또는 모델 기반 학습 방법과 비교해 본다면, 제안된 방법은 어떻게 다른가?

주요 결과

• 이 논문은 유한한 시간 간격 LQ 문제에서 전역 최적의 분산 출력 피드백 조절기를 학습하기 위한 첫 샘플 복잡도 한계를 설정한다.
• 모든 이차적으로 관계가 있는(QI) 문제와 일부 비-QI 문제에서 국소 기울기 지배 성질이 성립하여, 모델 기반 학습 방법의 전역 수렴이 가능하다.
• ϵ-하위최적성을 달성하기 위해 샘플 복잡도가 Õ(ε⁻²)로 스케일링되며, 이는 비분산 설정에서 알려진 최고의 한계와 일치한다.
• 이론적 한계는 수치적으로 검증되었으며, 알고리즘 1은 예측된 샘플 크기에서 정지했을 때 10번의 실험 중 10번 모두 전역 최적점에서 ε = 0.02 이내로 수렴한다.
• 비용 함수는 과정 노이즈 및 측정 노이즈의 스펙트럼 성질에 따라 결정되는 상수를 가진 국소 기울기 지배 성질을 가짐을 입증하였다.
• 명시적인 시스템 식별이 필요 없이 수렴을 달성하여 모델 불확실성에 강건하며, 대규모 분산 시스템에 적합하다.