[논문 리뷰] Regret-optimal Estimation and Control

Gautam Goel, Babak Hassibi|arXiv (Cornell University)|2021. 06. 22.

Advanced Control Systems Optimization인용 수 4

한 줄 요약

이 논문은 선형 시간변화 시스템에 대해 최악의 차이(회귀)를 최소화하는 회귀 최적 추정기 및 제어기를 도입한다. 온라인 인과 정책과 사전 지식이 있는 비인과 기준과의 최악의 차이를 최소화함으로써, 연산 이론 기법과 상태공간 재구성 기법을 사용하여, 간섭 에너지의 관점에서 날카롭고 데이터 기반의 회귀 상한을 달성하는 인과 필터 및 제어기를 유도한다. 수치 실험에서 기존의 EKF 및 MPC 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We consider estimation and control in linear time-varying dynamical systems from the perspective of regret minimization. Unlike most prior work in this area, we focus on the problem of designing causal estimators and controllers which compete against a clairvoyant noncausal policy, instead of the best policy selected in hindsight from some fixed parametric class. We show that the regret-optimal estimator and regret-optimal controller can be derived in state-space form using operator-theoretic techniques from robust control and present tight,data-dependent bounds on the regret incurred by our algorithms in terms of the energy of the disturbances. Our results can be viewed as extending traditional robust estimation and control, which focuses on minimizing worst-case cost, to minimizing worst-case regret. We propose regret-optimal analogs of Model-Predictive Control (MPC) and the Extended KalmanFilter (EKF) for systems with nonlinear dynamics and present numerical experiments which show that our regret-optimal algorithms can significantly outperform standard approaches to estimation and control.

연구 동기 및 목표

• 기존의 H₂ 및 H∞ 제어의 한계를 해결하기 위해, 특정 간섭 유형을 가정하고, 일치하지 않는 간섭에서는 실패할 수 있는 점을 해결한다.
• 미래 간섭을 모두 알고 있는 전역적으로 최적의 비인과 기준과의 회귀를 최소화하는 적응형, 인과적 추정기 및 제어기를 설계한다.
• 고정된 파rametric 정책 클래스에 국한되지 않고, 더 일반적인 비모수적 비교를 통해 회귀 최소화 개념을 확장한다.
• 추정 및 제어 문제에 대해 간섭 에너지의 관점에서 날카롭고 데이터 기반의 회귀 상한을 제공한다.

제안 방법

• 인과 온라인 정책과 사전에 전체 간섭 시퀀스를 알고 있는 비인과 기준 정책 간의 비교로 회귀 최소화를 공식화한다.
• 강건 제어에서 유래한 연산 이론 기법을 사용하여, 회귀 최적 추정기 및 제어기의 상태공간 표현을 유도한다.
• H∞ 필터가 원래 시스템의 회귀 최적 필터에 해당하는 3n 상태의 확장 시스템을 구성한다.
• 확장된 상태로 시스템 동역학을 재구성함으로써, 예측 수평선 및 제어 지연이 있는 설정으로 결과를 확장한다.
• 동일한 프레임워크를 사용하여 비선형 시스템에 대한 회귀 최적 모델 예측 제어(MPC) 및 확장 칼만 필터(EKF) 유사체를 유도한다.
• 간섭 에너지의 비례로 스케일링되는 날카롭고 에너지 기반의 회귀 상한을 확립한다. 이 상한은 간섭의 구조와 무관하다.

실험 결과

연구 질문

• RQ1 모든 측정치를 사전에 확보한 비인과 추정기와의 회귀를 최소화하는 인과 추정기를 설계할 수 있는가?
• RQ2 모든 향후 간섭을 알고 있는 사전 지식이 있는 제어기와의 회귀를 최소화하는 인과 제어기를 설계할 수 있는가?
• RQ3 정책 클래스에 대한 제한적인 파rametric 가정을 피하면서, 회귀 최적 추정 및 제어를 어떻게 공식화할 수 있는가?
• RQ4 선형 시간변화 시스템에 대해 간섭 에너지의 관점에서 날카롭고 데이터 기반의 회귀 상한은 무엇인가?
• RQ5 예측 또는 제어 지연이 있는 시스템으로서, 회귀 최적 프레임워크를 어떻게 확장할 수 있는가?

주요 결과

• 회귀 최적 필터는 확장된 3n 상태 시스템의 H∞ 필터로 유도되며, 기존의 칼만 필터 및 H∞ 필터와의 교체가 가능한 드롭인 대체품이다.
• 회귀 최적 제어기는 간섭 에너지의 상수 배수로 제한되는 최악의 경우의 회귀를 달성하며, 간섭 분포와 무관하다.
• 수치 실험 결과, 회귀 최적 알고리즘이 추정 및 제어 비용 측면에서 기존의 EKF 및 MPC보다 뚜렷이 뛰어난 성능을 보였다.
• 상태 확장 기법을 통해 예측 수평선 및 제어 지연이 있는 시스템으로의 일반화가 가능하며, 이로 인해 회귀 최적성이 유지된다.
• 회귀 상한은 날카롭고 데이터 기반이며, 총 간섭 에너지의 선형 비례로 스케일링되어 성능 보장이 강건하고 해석 가능하다.
• 비선형 시스템으로의 확장은 EKF 및 MPC의 회귀 최적 유사체를 통해 가능하며, 선형 모델을 초월한 실용적 관련성을 입증한다.