[논문 리뷰] Online switching control with stability and regret guarantees

Yingying Li, James A. Preiss외 4명|arXiv (Cornell University)|2023. 01. 20.

Advanced Bandit Algorithms ResearchDecision Sciences인용 수 3

한 줄 요약

이 논문은 미지의 동역학성과 시간에 따라 변하는 비용 함수를 가진 시스템에 대해, 잠재적으로 불안정할 수 있는 후보 제어기 유한 집합에서 온라인으로 제어기를 전환하는 알고리즘을 제안한다. 이 알고리즘은 유한 이득 안정성과 최적의 안정화 제어기 대비 비선형 회귀 보장을 보장한다. 방법은 적응형 전환과 안정성 인지 탐색을 결합하여, 초기에 안정화 제어기가 알려져 있지 않더라도 견고한 성능을 유지한다.

ABSTRACT

This paper considers online switching control with a finite candidate controller pool, an unknown dynamical system, and unknown cost functions. The candidate controllers can be unstabilizing policies. We only require at least one candidate controller to satisfy certain stability properties, but we do not know which one is stabilizing. We design an online algorithm that guarantees finite-gain stability throughout the duration of its execution. We also provide a sublinear policy regret guarantee compared with the optimal stabilizing candidate controller. Lastly, we numerically test our algorithm on quadrotor planar flights and compare it with a classical switching control algorithm, falsification-based switching, and a classical multi-armed bandit algorithm, Exp3 with batches.

연구 동기 및 목표

• 미지의 비선형 동역학성과 시간에 따라 변하는 비용 함수를 가진 시스템에서 온라인 전환 제어 문제를 다루는 것.
• 후보 제어기 중 하나만 안정화 가능할 경우, 이 제어기가 사전에 알려져 있지 않더라도 유한 이득 안정성을 보장하는 것.
• 최적의 안정화 후보 제어기 대비 비선형 정책 회귀를 달성하는 것.
• 불확실성 하에서 안정성 확보와 성능 최적화 사이의 균형을 고려한 실용적인 알고리즘 설계.
• 실세계 동역학, 예를 들어 큼피터의 평면 비행에 대해 기존 기준과 비교하여 방법을 검증하는 것.

제안 방법

• 알고리즘은 잠재적으로 불안정한 정 politics를 포함한 유한한 후보 제어기 집합을 사용하며, 실시간 피드백에 기반해 이를 동적으로 전환한다.
• 적어도 하나의 후보 제어기가 안정화 가능하다는 가정을 바탕으로, 안정성 인지 탐색 메커니즘을 통합하여 안정성을 유지할 가능성이 높은 제어기를 우선순위로 삼는다.
• 후보 제어기 중 최적의 안정화 제어기의 성능을 기준으로 회귀를 최소화하는 프레임워크를 활용한다.
• 리아푸노프 기반 안정성 분석을 통해, 탐색 중에도 전체 제어 기간 동안 유한 이득 안정성을 보장한다.
• 알고리즘은 적응형이며 온라인으로 설계되어, 시스템 모델 지식 없이도 실시간으로 제어기 선택을 갱신한다.
• 온라인 학습과 강건 제어의 원리를 통합하여, 안정성 보장과 성능 회귀 한계를 동시에 확보한다.

실험 결과

연구 질문

• RQ1 후보 제어기 중 하나만 안정화 가능할 경우, 이 제어기가 사전에 알려져 있지 않더라도 온라인 전환 제어 알고리즘이 유한 이득 안정성을 보장할 수 있는가?
• RQ2 미지의 동역학성과 시간에 따라 변하는 비용이 존재하는 상황에서, 이러한 알고리즘이 최적의 안정화 제어기 대비 비선형 회귀를 달성할 수 있는가?
• RQ3 실세계 시스템에서 전통적인 전환 제어 및 다중 팔 랜드마크 알고리즘과 비교해 본다면, 제안된 알고리즘의 성능과 안정성은 어떠한가?
• RQ4 불안정한 후보 정 politics를 갖는 온라인 제어에서, 안정성 확보를 위한 탐색과 성능 최적화 사이의 상충 관계는 어떠한가?
• RQ5 시스템 모델이나 비용 함수에 대한 사전 지식 없이도 알고리즘이 안정성과 성능을 유지할 수 있는가?

주요 결과

• 제안된 알고리즘은 안정화 제어기가 사전에 알려져 있지 않더라도 전체 제어 기간 동안 유한 이득 안정성을 보장한다.
• 최적의 안정화 후보 제어기 대비 비선형 정책 회귀를 달성하여 장기적으로 최적의 선택에 가까운 성능을 보인다.
• 쿼드로터 평면 비행에 대한 수치 실험 결과, 알고리즘이 잘못된 제어기 기반 전환 및 Exp3 밴딧 알고리즘보다 안정성과 비용 최소화 측면에서 뛰어난 성능을 보였다.
• 초기 제어기가 불안정하더라도 알고리즘은 적응형 전환을 통해 안정화 제어기를 효과적으로 식별하고 활용한다.
• 완전한 시스템 모델 지식 없이도 일반적인 비선형 동역학과 공정 노이즈 하에서도 안정성 보장이 유지된다.
• 시간에 따라 변하는 비용 함수를 갖는 동적인 환경에서도 알고리즘은 견고성과 성능을 유지한다.