[논문 리뷰] Perturbation-based Regret Analysis of Predictive Control in Linear Time Varying Systems

Yiheng Lin, Yang Hu외 4명|arXiv (Cornell University)|2021. 06. 19.

Advanced Control Systems Optimization참고 문헌 39인용 수 10

한 줄 요약

이 논문은 시간에 따라 변하는 비용이 있는 선형 시간 변화 시스템(LTV)에서 예측 제어에 대한 최초의 리그레트 및 경쟁 비율 한계를 제시한다. 새로운 변동 기반 분석 프레임워크를 사용하여, 모델 예측 제어(MPC)가 동적 리그레트 $ O(\lambda^k T) $ 와 경쟁 비율 $ 1 + O(\lambda^k) $ 를 달성함을 보여주며, 여기서 $ \lambda < 1 $ 이다. 이는 예측 수명 $ k $ 에 따라 리그레트가 지수적으로 감소함을 시사한다.

ABSTRACT

We study predictive control in a setting where the dynamics are time-varying and linear, and the costs are time-varying and well-conditioned. At each time step, the controller receives the exact predictions of costs, dynamics, and disturbances for the future $k$ time steps. We show that when the prediction window $k$ is sufficiently large, predictive control is input-to-state stable and achieves a dynamic regret of $O(λ^k T)$, where $λ&lt; 1$ is a positive constant. This is the first dynamic regret bound on the predictive control of linear time-varying systems. Under more assumptions on the terminal costs, we also show that predictive control obtains the first competitive bound for the control of linear time-varying systems: $1 + O(λ^k)$. Our results are derived using a novel proof framework based on a perturbation bound that characterizes how a small change to the system parameters impacts the optimal trajectory.

연구 동기 및 목표

• 시간에 따라 변하는 비용이 있는 선형 시간 변화 시스템(LTV)에서 예측 제어에 대한 비점근적 성능 보장을 — 특히 동적 리그레트와 경쟁 비율 — 수립하는 것.
• 이전 결과가 선형 시간 불변(LTI) 시스템과 정수형 비용에 국한된 바에 비해, LTV 시스템에서 모델 예측 제어(MPC)의 이론적 이해 부족을 보완하는 것.
• 최적의 궤적을 명시적으로 구하지 않아도 되는 새로운 분석 프레임워크를 개발하여, 일반적인 비용 함수와 시간에 따라 변화하는 동역학 하에서의 분석을 가능하게 하는 것.
• 예측 제어가 예측 창 $ k $ 가 증가함에 따라 리그레트와 경쟁 비율이 지수적으로 감소함을 보여주는 것, 심지어 비정수형, 시간에 따라 변화하는 설정에서도 적용 가능함을 입증하는 것.
• 기존의 LTI 시스템 결과를 LTV 시스템으로 확장하기 위해 이전의 감소 및 명시적 비용-도달 함수 접근 방식의 한계를 극복하는 것.

제안 방법

• 작은 시스템 파라미터(동역학, 비용, 외란) 변화가 최적 궤적에 미치는 영향을 제한하는 변동 기반 분석 프레임워크를 제안하여, 최적 제어 법칙의 명시적 해를 필요로 하지 않고 분석이 가능하도록 하는 것.
• 최적 해의 파rameter 변화에 대한 민감도를 특성화하는 새로운 변동 한계(정리 3.3)를 도입하며, 이는 비정수형, 잘 조절된 비용 함수에도 유효하다.
• 변동 한계를 적용하여 예측 제어기 성능을 최적의 오프라인 해와 비교함으로써 리그레트 및 경쟁 비율 보장을 유도하는 것.
• 강한 볼록성과 리프시츠 조건을 활용하여, 예측 제어기 궤적과 최적 궤적 사이의 누적 편차를 제어하기 위해 재귀적 오차 전파 추론을 사용하는 것.
• 두 단계 분석을 활용: 먼저 예측된 상태 및 제어 입력이 최적 값으로부터의 편차를 제한하고, 그 다음 강한 볼록성과 리프시츠 연속성 조건을 통해 총 비용 차이로 연결하는 것.
• 시간 단위에 대한 텔레스코프 합을 사용하여 경계를 유도하고, 오차 누적 제어를 위해 $ \ell_f $, $ \ell_c $ 및 시스템 파라미터를 포함하는 부등식을 적용하는 것.

실험 결과

연구 질문

• RQ1 예측 제어가 선형 시간 변화 시스템에서 예측 수명 $ k $ 의 함수로 증명 가능한 작은 동적 리그레트를 달성할 수 있는가?
• RQ2 시간에 따라 변하는 잘 조절된 비용 함수를 갖는 LTV 시스템에서 예측 제어에 대한 경쟁 비율을 설정할 수 있는가?
• RQ3 최적 제어 법칙 및 비용-도달 함수의 명시적 계산을 피할 수 있는 이론적 프레임워크를 개발할 수 있는가?
• RQ4 LTV 시스템에서 예측 창 $ k $ 가 증가함에 따라 예측 제어의 성능은 어떻게 감소하는가?
• RQ5 일반적인 비용 함수 하에서 LTV 시스템에서 예측 제어가 달성할 수 있는 최고의 리그레트 및 경쟁 비율은 무엇인가?

주요 결과

• 예측 제어기는 $ \lambda < 1 $ 인 양수 상수 $ \lambda $ 를 사용해 동적 리그레트 $ O(\lambda^k T) $ 를 달성하며, 이는 예측 창 $ k $ 에 따라 리그레트가 지수적으로 감소함을 보여준다.
• 종료 비용에 대한 추가 가정 하에, 제어기는 경쟁 비율 $ 1 + O(\lambda^k) $ 를 달성하며, 이 역시 $ k $ 에 따라 지수적으로 감소한다. 이는 LTV 시스템에 대해 최초의 이러한 한계이다.
• 변동 기반 분석 프레임워크는 최적 궤적이나 비용-도달 함수의 명시적 표현이 필요 없이 리그레트 및 경쟁 비율 한계를 도출할 수 있도록 한다.
• 경계에서의 감쇠율 $ \lambda $ 는 동역학 행렬의 스펙트럼 성질과 비용 함수의 강한 볼록성 파rameter와 같은 시스템 파라미터에 의해 결정된다.
• 이 경계는 LTI 설정에서의 예측 향상에 대한 지수 하한과 거의 일치하며, 주어진 리그레트 수준을 달성하기 위해 필요한 $ k $ 에서만 상수 인자로 다를 뿐이다.
• 분석은 비정수형, 잘 조절된 비용 함수에 대해 강건하며, 시간에 따라 변화하는 동역학, 외란, 비용 함수를 갖는 시스템에도 적용 가능하다.