[논문 리뷰] Measurement-Feedback Control with Optimal Data-Dependent Regret

Gautam Goel, Babak Hassibi|arXiv (Cornell University)|2022. 09. 14.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 선형 시스템에 대해 회귀 최적 측정 피드백 제어기를 도입하며, 합성 시스템에서 H∞ 최적 제어로 문제를 환원함으로써 데이터에 의존하는 최적의 회귀를 달성한다. 두 가지 제어기를 도출한다: 하나는 조합된 외란 에너지에 대해 최적의 의존성을 가지며, 다른 하나는 주입 외란 경로 길이와 측정 외란 에너지에 대해 최적의 의존성을 가지며, 일반적으로 유한한 경쟁 비율을 확보할 수 없음을 증명한다.

ABSTRACT

Inspired by online learning, data-dependent regret has recently been proposed as a criterion for controller design. In the regret-optimal control paradigm, causal controllers are designed to minimize regret against a hypothetical optimal noncausal controller, which selects the globally cost-minimizing sequence of control actions given noncausal access to the disturbance sequence. We extend regret-optimal control to the more challenging measurement-feedback setting, where the online controller must compete against the optimal noncausal controller without directly observing the state or the driving disturbance. We show that no measurement-feedback controller can have bounded competitive ratio or regret which is bounded by the pathlength of the measurement disturbance. We do derive, however, a controller whose regret has optimal dependence on the joint energy of the driving and measurement disturbances, and another controller whose regret has optimal dependence on the pathlength of the driving disturbance and the energy of the measurement disturbance. The key technique we introduce is a reduction from regret-optimal measurement-feedback control to $H_{\infty}$-optimal measurement-feedback control in a synthetic system. We present numerical simulations which illustrate the efficacy of our proposed control algorithms.

연구 동기 및 목표

• 측정 피드백 환경에서 비인과적 최적 제어기 대비 회귀를 최소화하는 인과적 제어기를 설계하는 문제에 대응한다.
• 측정 피드백 하에서 일반 선형 시스템에서 유한한 경쟁 비율 또는 경로 길이 기반의 회귀가 일반적으로 달성 불가능한 한계를 극복한다.
• 외란 복잡도 측도에 대해 최적의 회귀 의존성을 갖는 제어기를 개발한다: 조합된 에너지 및 혼합 경로 길이-에너지 측도.
• 회귀 최적 측정 피드백 제어 문제를 합성 시스템에서 H∞ 최적 제어 문제로 환원하는 프레임워크를 구축하여 설계의 실현 가능성을 보장한다.

제안 방법

• 명백한 비인과적 제어기 대비 회귀를 최소화하는 회귀 최적 측정 피드백 제어 문제를 수립한다.
• 기존 측정 피드백 문제를 H∞ 최적 제어 문제로 변환하는 합성 시스템을 도입한다.
• 원래 시스템의 동역학 및 외란 모델을 확장된 상태와 제어 입력을 갖는 합성 시스템에 통합하기 위해 상태공간 변환을 사용한다.
• 유도된 제어기의 안정성과 최적성 보장을 위해 합성 시스템에 H∞ 최적 제어 프레임워크를 적용하여 증명 가능한 최적의 회귀 한계를 갖는 제어기를 유도한다.
• 두 가지 서로 다른 제어기를 도출한다: 하나는 주입 외란과 측정 외란의 조합 에너지에 대해 최적의 의존성을 갖는 것이며, 다른 하나는 주입 외란의 경로 길이와 측정 외란 에너지 간의 최적의 트레이드오프를 갖는 것이다.
• 분리 원리와 리카티 방정식 해법을 활용하여 유도된 제어기의 안정성과 최적성을 보장한다.

실험 결과

연구 질문

• RQ1 측정 피드백 제어기는 측정 외란의 경로 길이에 의해 제한되는 유한한 경쟁 비율 또는 유한한 회귀를 달성할 수 있는가?
• RQ2 다양한 외란 복잡도 측도 하에서 측정 피드백 제어기에서 달성 가능한 최적의 회귀 의존성은 무엇인가?
• RQ3 회귀 최적 측정 피드백 제어는 합성 시스템에서 H∞ 최적 제어 문제로 환원될 수 있는가?
• RQ4 제안된 제어기는 다양한 외란 유형에서 표준 H₂ 및 H∞ 제어기와 비교해 성능가능성이 어떻게 다른가?
• RQ5 측정 피드백 제어 환경에서 회귀 최소화의 근본적인 한계는 무엇인가?

주요 결과

• 어떤 측정 피드백 제어기라도 측정 외란의 경로 길이에 의해 제한되는 유한한 경쟁 비율 또는 유한한 회귀를 달성할 수 없다.
• 제안된 제어기는 주입 외란과 측정 외란의 조합 에너지에 대해 최적의 의존성을 갖으며, 이론적 하한값과 정확히 일치한다.
• 두 번째 제어기는 주입 외란의 경로 길이와 측정 외란 에너지에 대해 최적의 의존성을 갖는다.
• 이산형 이중 적분기 시스템에서의 수치 시뮬레이션 결과, 동일한 분포를 갖는 가우시안 외란 하에서 에너지 최적 제어기가 다른 제어기보다 뛰어난 성능을 보였다.
• 가우시안 랜덤 워크 외란 하에서는 경로 길이가 에너지 대비 낮아지므로, 경로 길이 최적 제어기가 비인과적 기준선에 매우 가까이 따라잡는다.
• 적대적인 인풋 펄스 외란 하에서는 H∞ 최적 제어기와 에너지 최적 제어기가 H₂ 및 경로 길이 최적 제어기보다 뛰어난 성능을 보이며, 내성적 강건성을 입증한다.