[논문 리뷰] Regret-optimal measurement-feedback control

Gautam Goel, Babak Hassibi|arXiv (Cornell University)|2020. 11. 24.

Advanced Bandit Algorithms Research참고 문헌 13인용 수 7

한 줄 요약

이 논문은 이상적 컨트롤러에 비해 최악의 성능 손실을 최소화하는 회귀 최적 측정 피드백 제어 프레임워크를 제안한다. 시스템 및 컨트롤러 이득을 포함하는 구조적 행렬 변환을 활용하여 전이 연산자 항등식을 도출함으로써, 볼록 최적화를 통한 최적 컨트롤러 합성 가능하게 하여 모델 불확실성 하에서도 강건한 성능을 달성한다.

ABSTRACT

We consider measurement-feedback control in linear dynamical systems from the perspective of regret minimization. Unlike most prior work in this area, we focus on the problem of designing an online controller which competes with the optimal dynamic sequence of control actions selected in hindsight, instead of the best controller in some specific class of controllers. This formulation of regret is attractive when the environment changes over time and no single controller achieves good performance over the entire time horizon. We show that in the measurement-feedback setting, unlike in the full-information setting, there is no single offline controller which outperforms every other offline controller on every disturbance, and propose a new $H_2$-optimal offline controller as a benchmark for the online controller to compete against. We show that the corresponding regret-optimal online controller can be found via a novel reduction to the classical Nehari problem from robust control and present a tight data-dependent bound on its regret.

연구 동기 및 목표

• 모델 불확실성 하에서 이상적 컨트롤러에 비해 최악의 성능 손실(즉, 회귀)을 최소화하는 제어 프레임워크를 개발하기 위해.
• 전체 상태 정보가 가용하지 않은 경우, 측정 피드백 아키텍처를 사용하여 최적 컨트롤러를 설계하는 데 도전하기 위해.
• 컨트롤러 전이 연산자와 구조적 행렬 변환을 연결하는 수학적 항등식을 수립하여, 회귀 기준의 볼록 최적화를 가능하게 하기 위해.
• 불확실한 시스템 파라미터가 존재하는 상황에서 강건성과 최적성을 보장하는 계산적으로 타당한 컨트롤러 합성 방법을 제공하기 위해.

제안 방법

• 컨트롤러 및 시스템 동역학을 매개변수화하기 위해 $ S = I + FF^ op $, $ T = I + F^ op F $, $ U = I + LL^ op $, $ V = I + L^ op L $ 를 사용하는 구조적 행렬 변환을 도입한다.
• 컨트롤러의 전이 연산자 $ \mathcal{T}_K $ 를 정규형으로 매핑하는 변환 행렬 $ \theta $ 와 $ \psi $ 를 정의하여, 전이 연산자에 대한 항등식 유도를 가능하게 한다.
• 전이 연산자 $ \mathcal{T}_K $ 와 변환된 행렬 간의 정확한 항등식을 수립함으로써, 회귀 최소화 문제를 볼록 최적화 문제로 재구성할 수 있다.
• 항등식을 활용하여 회귀를 구조적 행렬의 역제곱근에 따라 표현함으로써, 최적 이득의 효율적 계산이 가능해진다.
• 컨트롤러의 상태 추정 및 피드백 구조를 행렬 매개변수화에 통합함으로써, 측정 피드백 제어에 이 프레임워크를 적용한다.
• 최적 컨트롤러가 이상 성능에서의 최악의 편차를 최소화하는 조건을 유도하여, 강건성과 최적성을 보장한다.

실험 결과

연구 질문

• RQ1 전체 상태 정보가 가용하지 않은 측정 피드백 설정에서 회귀 최적 제어는 어떻게 공식화할 수 있는가?
• RQ2 어떤 수학적 구조가 회귀 최소화 문제를 볼록 최적화 문제로 변환하는 데 기여하는가?
• RQ3 행렬 변환 $ S, T, U, V $ 와 그 역행렬은 컨트롤러의 성능 및 안정성과 어떻게 관련이 있는가?
• RQ4 컨트롤러의 전이 연산자를 구조적 행렬을 통해 정확히 매개변수화할 수 있는가? 이를 통해 최적의 회귀 최소화가 가능해지는가?
• RQ5 어떤 조건이 유도된 컨트롤러가 이상적 컨트롤러에 비해 최소한의 최악의 성능 손실을 달성하도록 보장하는가?

주요 결과

• 논문은 컨트롤러의 전이 연산자 $ \mathcal{T}_K $ 와 구조적 행렬 변환 $ \theta $, $ \psi $ 간의 정확한 항등식을 수립하여, 회귀의 정확한 특성화를 가능하게 하였다.
• 행렬의 역과 제곱근을 활용한 변환 덕분에, 회귀 최소화 문제는 볼록 최적화 문제로 재구성되었으며, 이는 계산의 타당성을 보장한다.
• 이 프레임워크는 모델 불확실성 하에서도 이상적 컨트롤러에 비해 최소한의 최악의 성능 손실을 달성하는 최적 컨트롤러를 보장한다.
• 유도된 컨트롤러 구조는 본질적으로 측정 피드백 제약을 충족하여, 가용한 측정값만이 피드백에 사용됨을 보장한다.
• 이 방법은 행렬 $ S, T, U, V $ 와 그 역행렬을 포함하는 볼록 프로그램을 푸름으로써 최적 컨트롤러 이득을 체계적으로 계산할 수 있도록 한다.
• 변환 프레임워크는 비볼록 이차항을 피하는 문제 구조를 유지함으로써 수치적 안정성과 확장성을 보장한다.