[논문 리뷰] On the Certainty-Equivalence Approach to Direct Data-Driven LQR Design

Florian Dörfler, Pietro Tesi외 1명|arXiv (Cornell University)|2021. 09. 14.

Control Systems and Identification인용 수 12

한 줄 요약

이 논문은 간접적 확실성 등가 방법과 직접적 강건성 방법을 연결하는 새로운 직접적, 정규화된 데이터 기반 LQR 설계를 제안한다. 최소 제곱법을 통한 시스템 식별과 명칭 기반 LQR 설계를 하나의 최적화 문제로 재구성하고, 데이터 피팅 정규화를 도입함으로써 노이즈가 있는 데이터 하에서 안정성과 성능 보장을 달성한다. 신호 대 잡음비(SNR)에 따라 결정되는 명시적 경계와 함께, 확실성 등가와 강건성 향상 정규화를 결합했을 때 우수한 경험적 성능을 보인다.

ABSTRACT

The linear quadratic regulator (LQR) problem is a cornerstone of automatic control, and it has been widely studied in the data-driven setting. The various data-driven approaches can be classified as indirect (i.e., based on an identified model) versus direct or as robust (i.e., taking uncertainty into account) versus certainty-equivalence. Here we show how to bridge these different formulations and propose a novel, direct, and regularized formulation. We start from indirect certainty-equivalence LQR, i.e., least-square identification of state-space matrices followed by a nominal model-based design, formalized as a bi-level program. We show how to transform this problem into a single-level, regularized, and direct data-driven control formulation, where the regularizer accounts for the least-square data fitting criterion. For this novel formulation we carry out a robustness and performance analysis in presence of noisy data. Our proposed direct and regularized formulation is also amenable to be further blended with a robust-stability-promoting regularizer. In a numerical case study we compare regularizers promoting either robustness or certainty-equivalence, and we demonstrate the remarkable performance when blending both of them.

연구 동기 및 목표

• 이중 최적화 문제인 식별 및 설계 문제를 단일 수준의 최적화로 변환함으로써 간접적 확실성 등가 LQR와 직접적 데이터 기반 제어를 통합한다.
• 정규화 항이 최소 제곱법에 의한 데이터 피팅을 강조하도록 하는 직접적 데이터 기반 LQR 설정을 유도한다.
• 노이즈가 있는 데이터 하에서 비점근적 강건성 및 성능 분석을 제공하며, 잡음 분포에 독립적인 분석을 수행한다.
• 확실성 등가와 강건성 향상 정규화를 결합하여 경험적 성능을 향상시킬 수 있도록 한다.
• 큰 정규화 값에서 간접적 접근을 복원하고, 높은 SNR 조건에서 near-optimal 성능을 달성함을 보여준다.

제안 방법

• 최소 제곱법을 통한 시스템 식별과 명칭 기반 LQR 설계를 순차적으로 수행하는 간접적 확실성 등가 LQR을 이중 최적화 문제로 수식화한다.
• Schur 보조정리와 행렬 릿지 기법을 사용하여 이중 최적화 문제를 단일 수준의 정규화된 데이터 기반 최적화 문제로 변환한다.
• LQR 목표 함수에 최소 제곱법 오차를 반영하는 데이터 피팅 정규화 항을 도입하여 확실성 등가를 촉진한다.
• 대수적 변환과 준정적 프로그래밍 변환을 통해 정규화된 직접적 설정과 고전적 간접적 확실성 등가 LQR 간의 동치성을 입증한다.
• 이전 연구에서 제안된 강건성 향상 정규화 항을 통합하여 저 SNR 조건에서의 안정성 향상을 도모하고, 하이브리드 정규화를 가능하게 한다.
• 비점근적 분석을 통해 신호 대 잡음비(SNR)와 표본 크기의 함수로 닫힌 루프 안정성 및 최적성 갭 스케일링 조건을 도출한다.

실험 결과

연구 질문

• RQ1 간접적 확실성 등가 LQR 접근 방식을 명확한 정규화 항을 갖는 직접적, 단일 수준의 데이터 기반 최적화 문제로 재구성할 수 있는가?
• RQ2 제안된 정규화 항은 최소 제곱법 시스템 식별과 어떻게 관련이 있으며, 안정성과 성능 향상에 어떤 역할을 하는가?
• RQ3 노이즈가 있는 데이터 하에서 확실성 등가 접근 방식이 어떤 조건에서 안정화 제어기를 도출하는가? 이는 잡음 분포에 독립적인가?
• RQ4 유한 표본 범위에서 최적성 갭은 신호 대 잡음비(SNR)에 따라 어떻게 스케일링되는가?
• RQ5 확실성 등가 정규화와 강건성 향상 정규화를 결합하면 데이터 기반 LQR 설계에서 경험적 성능이 향상되는가?

주요 결과

• 제안된 직접적, 정규화된 데이터 기반 LQR 설정은 고전적 간접적 확실성 등가 LQR과 수학적으로 동치이며, 정규화 항이 최소 제곱법을 통한 데이터 피팅을 강조한다.
• 신호 대 잡음비(SNR)가 충분히 높을 경우, 확실성 등가 제어기는 잡음 분포에 관계없이 닫힌 루프 시스템을 안정화한다.
• 충분히 높은 SNR 조건에서 최적성 갭은 SNR에 대해 선형적으로 스케일링되며, 낮은 불확실성 범위에서 뛰어난 성능을 보임을 확인한다.
• 참고 문헌 [16]에서 제안한 강건성 향상 정규화는 저 SNR 조건에서 성능을 향상시키지만 고 SNR 조건에서는 성능이 떨어지며, 반면 확실성 등가 정규화는 고 SNR 조건에서 뛰어난 성능을 보인다.
• 두 정규화 항을 하나의 설정에 융합하면 놀라운 경험적 성능을 달성하며, 개별적으로 사용할 경우보다 뛰어난 성능을 보인다.
• 유도 과정과 구현이 단순하며, 다른 시스템 유형, 식별 기준, 제어 목표로의 확장 가능성도 있다.