[논문 리뷰] Optimal Competitive-Ratio Control

Oron Sabag, Sahin Lale외 1명|arXiv (Cornell University)|2022. 06. 03.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 경쟁 비율 제어 문제에 대한 최초의 명시적 최적 해를 제시하며, 이를 네하리 문제로 재구성하여 간단한 행렬의 최대 고유값으로 최소 경쟁 비율을 도출한다. 이 해법은 인과적 제어기 비용과 전지각적 제어기 비용 간의 최악의 비율을 최소화하는 상태공간 제어기를 도출함으로써 대규모 시스템에서 기존 방법들을 능가하는 최적 성능을 달성한다.

ABSTRACT

Inspired by competitive policy designs approaches in online learning, new control paradigms such as competitive-ratio and regret-optimal control have been recently proposed as alternatives to the classical $\mathcal{H}_2$ and $\mathcal{H}_\infty$ approaches. These competitive metrics compare the control cost of the designed controller against the cost of a clairvoyant controller, which has access to past, present, and future disturbances in terms of ratio and difference, respectively. While prior work provided the optimal solution for the regret-optimal control problem, in competitive-ratio control, the solution is only provided for the sub-optimal problem. In this work, we derive the optimal solution to the competitive-ratio control problem. We show that the optimal competitive ratio formula can be computed as the maximal eigenvalue of a simple matrix, and provide a state-space controller that achieves the optimal competitive ratio. We conduct an extensive numerical study to verify this analytical solution, and demonstrate that the optimal competitive-ratio controller outperforms other controllers on several large scale practical systems. The key techniques that underpin our explicit solution is a reduction of the control problem to a Nehari problem, along with a novel factorization of the clairvoyant controller's cost. We reveal an interesting relation between the explicit solutions that now exist for both competitive control paradigms by formulating a regret-optimal control framework with weight functions that can also be utilized for practical purposes.

연구 동기 및 목표

• 기존 연구가 부분 최적 문제만 해결한 데 반해, 경쟁 비율 제어 분야의 격차를 메우기 위해 명시적 최적 해를 제공하는 것.
• 최소 경쟁 비율에 대한 폐쇄형 표현식을 도출하여 전지각적 제어기와의 성능 기준을 설정하는 것.
• 일반적인 선형 정수계 시스템에 대해 최적의 경쟁 비율을 달성하는 상태공간 제어기를 설계하는 것.
• 가중치를 부여한 회귀 최적화 문제의 형태를 통해 회귀 최적 제어와 경쟁 비율 제어 프레임워크를 통합하는 것.
• 실제 대규모 시스템에서 최적 제어기가 보여주는 뛰어난 경험적 성능을 입증하는 것.

제안 방법

• 제어 문제를 연산자 이론 기법을 사용해 네하리 문제로 재구성함으로써, 알려진 네하리 문제 해법기를 활용한 최적 해를 도출한다.
• 전지각적 제어기의 비용을 새로운 방식으로 인수분해하여 네하리 문제로의 축소를 가능하게 하는 기법을 도입한다.
• 최적의 경쟁 비율은 시스템 파라미터에서 유도된 단순한 행렬의 최대 고유값으로 계산된다.
• 두 개의 리카티 방정식과 세 개의 르자비에 방정식의 해를 사용하여 상태공간 제어기를 구성한다.
• 상태, 입력, 외란에 대한 가중치 연산자를 통합함으로써 회귀 최적 제어를 일반화하는 프레임워크를 제시한다.
• 수치적 검증을 통해 여러 대규모 시스템에서 이론적 최적성과 성능 향상을 확인한다.

실험 결과

연구 질문

• RQ1 에너지가 유한한 외란 조건 하에서 선형 정수계 시스템의 최소 경쟁 비율에 대한 명시적 공식은 무엇인가?
• RQ2 최소 비율을 달성하기 위해 상태공간 형태로 최적 제어기를 명시적으로 어떻게 구성할 수 있는가?
• RQ3 기본 수학적 구조 측면에서 회귀 최적 제어와 경쟁 비율 제어 간의 관계는 무엇인가?
• RQ4 경쟁 비율 제어 문제는 해결 가능한 네하리 문제로 축소될 수 있는가? 만약 가능하면 그 방법은 무엇인가?
• RQ5 실제 세계의 시스템에서 최적의 경쟁 비율 제어기는 부분 최적 또는 전통적인 H2/H∞ 제어기와 비교해 어떻게 성능가능한가?

주요 결과

• 최적의 경쟁 비율은 시스템 동역학과 비용 파라미터에서 유도된 단순한 행렬의 최대 고유값으로 명시적으로 주어진다.
• 최적의 제어기는 두 개의 리카티 방정식과 세 개의 르자비에 방정식의 해를 사용하여 구성되며, 실용적 구현이 가능하다.
• 스칼라 시스템의 경우 최적의 경쟁 비율 제어기는 표준 LQR(H2) 제어기로 축소된다.
• 광범위한 수치적 연구를 통해 대규모 시스템에서 기존 제어기들보다 뛰어난 성능을 보임을 입증하였다.
• 이 프레임워크는 경쟁 비율 제어와 회귀 최적 제어 간의 이중성(duality)을 드러내며, 경쟁 비율 제어가 가중치를 부여한 회귀 최적 문제와 동치임을 보여준다.
• 상태공간 제어기의 구조는 명시적으로 유도되었으며, 보조 상태와 피드백 이득을 포함하는 명확한 실현 방식을 제공한다.