[논문 리뷰] Online Optimal Control with Linear Dynamics and Predictions: Algorithms and Regret Analysis

Yingying Li, Xin Chen외 1명|arXiv (Cornell University)|2019. 06. 26.

Advanced Bandit Algorithms Research참고 문헌 56인용 수 28

한 줄 요약

이 논문은 시간에 따라 변하는 볼록 비용과 유한한 향후 비용 예측을 갖는 선형 정수계수 시스템을 위한 새로운 온라인 최적 제어 알고리즘인 후퇴 예측 기반 제어(RHGC)를 제안한다. 예측 정보를 활용한 후퇴 예측 창 내에서 기울기 기반 최적화를 적용함으로써, RHGC는 예측 창 크기와 함께 지수적으로 감소하는 동적 위험을 달성하며, 선형 제곱 추적 문제에서 기본 성능 한계에 가까워진다.

ABSTRACT

This paper studies the online optimal control problem with time-varying convex stage costs for a time-invariant linear dynamical system, where a finite lookahead window of accurate predictions of the stage costs are available at each time. We design online algorithms, Receding Horizon Gradient-based Control (RHGC), that utilize the predictions through finite steps of gradient computations. We study the algorithm performance measured by dynamic regret: the online performance minus the optimal performance in hindsight. It is shown that the dynamic regret of RHGC decays exponentially with the size of the lookahead window. In addition, we provide a fundamental limit of the dynamic regret for any online algorithms by considering linear quadratic tracking problems. The regret upper bound of one RHGC method almost reaches the fundamental limit, demonstrating the effectiveness of the algorithm. Finally, we numerically test our algorithms for both linear and nonlinear systems to show the effectiveness and generality of our RHGC.

연구 동기 및 목표

• 시간에 따라 변하는 비용 하에서 선형 역학이 알려진 조건에서 비점근적 성능 간극을 해결하기 위해.
• 유한 예측 창을 활용하는 계산 효율적인 온라인 제어 알고리즘을 설계하기 위해.
• 온라인 제어 알고리즘에 대한 날카로운 위험 경계를 설정하고 기본 성능 한계를 규명하기 위해.
• 비선형 역학에서의 수치적 검증을 통해 RHGC의 일반성과 효과성을 입증하기 위해.

제안 방법

• 유한 예측 창에서 제어 입력을 계산하기 위해 기울기 방법(예: 경사 하강법, 트리플 모멘타움)을 적용하는 후퇴 예측 기반 제어(RHGC)를 제안한다.
• 각 시간 단계에서 향후 W단계 동안의 비용 예측을 사용하여 국소 최적화 문제를 해결하는 후퇴 예측 창 프레임워크를 사용한다.
• 제어 시퀀스에 대한 기울기 기반 업데이트를 수행하며, 시간이 흐름에 따라 예측 창이 앞으로 이동하여 실시간 적응성을 확보한다.
• 동적 위험 측정 기준을 사용하여 위험을 분석하고, 향후 비용을 완전히 알고 있는 최적의 오프라인 솔루션과의 성능을 비교한다.
• 강한 볼록성과 미끄러움 조건을 가정할 때 이론적 위험 경계를 유도하며, 예측 창 크기 W와 함께 지수적으로 감소함을 보여준다.
• 선형 제곱 추적 문제에서 어떤 온라인 알고리즘에도 적용 가능한 위험의 기본 하한을 설정하며, RHTM의 near-최적성임을 입증한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변하는 선형 시스템에서 온라인 제어 알고리즘은 어떻게 유한 예측 창을 활용하여 향후 비용을 효과적으로 활용할 수 있는가?
• RQ2 예측 기반 온라인 최적 제어에서 동적 위험의 이론적 성능 한계(하한)는 무엇인가?
• RQ3 예측 창 크기 W가 온라인 제어 알고리즘의 위험 감소 속도에 어떤 영향을 미치는가?
• RQ4 시스템의 제어 가능성은 예측 기반 온라인 제어 알고리즘의 위험 성능에 어떤 영향을 미치는가?
• RQ5 예측 기반 온라인 제어 알고리즘은 악조건 상황에서도 거의 최적의 성능를 달성할 수 있는가?

주요 결과

• 후퇴 예측 경사 하강법(RHGD)의 동적 위험은 예측 창 크기 W와 함께 지수적으로 감소하며, 예측 정보의 효율적 활용을 보여준다.
• 후퇴 예측 트리플 모멘타움(RHTM)의 위험 경계는 선형 제곱 추적 문제에 대해 유도된 기본 하한과 거의 일치하며, near-최적성을 시사한다.
• 시스템이 더 민첩할수록 위험은 감소하며, 이는 낮은 제어 가능성 인덱스로 측정되며, 더 반응성이 높은 시스템에서 성능이 더 우수함을 시사한다.
• 이론적 위험 경계는 강한 볼록성과 미끄러움 조건 하에 유도되었지만, 수치 실험을 통해 이러한 가정이 없이도 RHGC가 여전히 효과적임을 입증한다.
• 수치 결과는 RHGC가 선형 및 비선형 시스템 모두에서 효과적임을 확인하며, 이중 휠 드론의 경로 추적 사례를 포함하여 LTI 가정을 초월한 일반성도 입증한다.
• 예측 없이 작동하는 온라인 알고리즘의 위험은 RHGC 프레임워크에 통합될 경우 W와 함께 지수적으로 감소하는 인자로 줄어든다.