[논문 리뷰] The Power of Predictions in Online Control

Chenkai Yu, Guanya Shi외 3명|arXiv (Cornell University)|2020. 06. 13.

Advanced Bandit Algorithms Research참고 문헌 30인용 수 9

한 줄 요약

이 논문은 확률적 및 적대적 교란 하에서 예측을 고려한 온라인 선형 제곱조절기(LQR) 제어를 연구한다. 모델 예측 제어(MPC)가 오직 O(log T)개의 예측만으로도 O(1)의 동적 회귀를 달성함을 보여주며, 이는 이론적 하한선과 일치함을 보여주며, 단순한 탐욕적 예측 기반 정책이 둘 다 근사적으로 최적임을 입증한다.

ABSTRACT

We study the impact of predictions in online Linear Quadratic Regulator control with both stochastic and adversarial disturbances in the dynamics. In both settings, we characterize the optimal policy and derive tight bounds on the minimum cost and dynamic regret. Perhaps surprisingly, our analysis shows that the conventional greedy MPC approach is a near-optimal policy in both stochastic and adversarial settings. Specifically, for length-$T$ problems, MPC requires only $O(\log T)$ predictions to reach $O(1)$ dynamic regret, which matches (up to lower-order terms) our lower bound on the required prediction horizon for constant regret.

연구 동기 및 목표

• 스토케스틱 및 적대적 교란 하에서 k개의 예측이 있는 온라인 LQR의 최적 제어 정책과 최소 비용을 규명하는 것.
• 각 추가 예측의 여타 이득과 근사적으로 최적 성능을 달성하기 위해 필요한 예측 수를 결정하는 것.
• 비용과 회귀 측면에서 널리 사용되는 모델 예측 제어(MPC) 정책이 최적 정책에 비해 성능을 평가하는 것.
• 예측 제약 조건 하에서 최적 비용과 최소 동적 회귀에 대한 날카로운 상한 및 하한을 설정하는 것.

제안 방법

• 스토케스틱 및 적대적 환경에서 k개의 예측이 있는 LQR에 대해 비용 최적화 및 동적 회귀 최소화 정책을 유도한다.
• 스펙트럼 분석 및 행렬 노름 한계를 사용하여 최적 정책 및 MPC의 성능을 특성화한다.
• k개의 예측을 사용해 유한 시간 영역 최적화 문제를 해결하는 탐욕 정책으로서의 MPC를 분석한다.
• 행렬 감쇠율 및 스펙트럼 반경 성질을 이용해 MPC 및 최적 정책의 회귀에 대한 상한을 설정한다.
• 경쟁 비율 및 회귀 분석을 통해 MPC의 성능을 오프라인 최적 정책 및 회귀 최소화 정책과 비교한다.
• 상수 회귀를 달성하기 위해 필요한 예측 수명의 날카로운 하한을 증명하며, O(log T)가 渐近적으로 최적임을 보여준다.

실험 결과

연구 질문

• RQ1 스토케스틱 및 적대적 교란 하에서 k개의 예측이 있는 온라인 LQR 제어의 최적 정책은 무엇인가?
• RQ2 상수 회귀를 달성하기 위해 얼마나 많은 예측이 필요한가? 각 예측의 여타 이득은 어떻게 감소하는가?
• RQ3 스토케스틱 및 적대적 환경에서 MPC는 비용 최적화 및 회귀 최소화 정책에 비해 어떻게 성능을 내는가?
• RQ4 MPC는 예측 수가 비선형일 때도 유한한 회귀를 달성할 수 있으며, 이 수는 최적인가?
• RQ5 온라인 LQR 제어에서 예측 수명과 동적 회귀 사이의 근본적인 상충 관계는 무엇인가?

주요 결과

• MPC는 O(log T)개의 예측을 가질 경우 스토케스틱 및 적대적 LQR 환경 모두에서 O(1)의 동적 회귀를 달성하며, 하한선과 하위항 수준에서 일치한다.
• 추가 예측의 여타 이득은 k에 따라 지수적으로 감소하며, 이는 로그 수명 이후 수익 감소가 나타남을 시사한다.
• 동적 회귀를 최소화하는 최적 정책은 상수 회귀를 달성하기 위해 Ω(log T)의 예측 수명이 필요함을 보여주며, 이는 O(log T)가 渐近적으로 타이트함을 입증한다.
• 스토케스틱 및 적대적 환경 모두에서 MPC는 비용 최적화 정책에 대해 유한한 성능 비율을 보이며, 그 견고성을 확인한다.
• 이론적 한계는 거의 타이트하며, 일부 시스템에서는 상한선이 하위항 수준에서 근접함을 보여준다.
• 결과적으로 단순한 탐욕적 MPC가 적대적 교란 하에서도 근사적으로 최적임을 입증하며, 예측이 알고리즘 복잡도를 줄이는 데 미치는 영향을 강조한다.