[논문 리뷰] Regret-Optimal Full-Information Control.

Oron Sabag, Gautam Goel외 2명|arXiv (Cornell University)|2021. 05. 04.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 10

한 줄 요약

이 논문은 LQR 비용의 차이로 정의된 최악의 경우의 회한(regret)을 최소화하는 전정보(full-information) 제어기를 제안한다. 이 회한은 인과적 제어기와 미래의 간섭을 사전에 알 수 있는 비인과적(클레어보이언트) 제어기 간의 LQR 비용 차이로 정의되며, 문제를 네하리(Nehari) 근사로 환원함으로써 해결된다. 최적의 제어기는 표준 H₂ 상태 피드백 법칙과 두 개의 리아푸노프 방정식을 푸는 방식으로 유도된 유한차원 제어기의 합으로 구성되며, H₂ 및 H∞ 성능 간의 균형을 이루면서 향후 간섭에 대한 강건성을 확보한다.

ABSTRACT

We consider the infinite-horizon, discrete-time full-information control problem. Motivated by learning theory, as a criterion for controller design we focus on regret, defined as the difference between the LQR cost of a causal controller (that has only access to past and current disturbances) and the LQR cost of a clairvoyant one (that has also access to future disturbances). In the full-information setting, there is a unique optimal non-causal controller that in terms of LQR cost dominates all other controllers. Since the regret itself is a function of the disturbances, we consider the worst-case regret over all possible bounded energy disturbances, and propose to find a causal controller that minimizes this worst-case regret. The resulting controller has the interpretation of guaranteeing the smallest possible regret compared to the best non-causal controller, no matter what the future disturbances are. We show that the regret-optimal control problem can be reduced to a Nehari problem, i.e., to approximate an anticausal operator with a causal one in the operator norm. In the state-space setting, explicit formulas for the optimal regret and for the regret-optimal controller (in both the causal and the strictly causal settings) are derived. The regret-optimal controller is the sum of the classical $H_2$ state-feedback law and a finite-dimensional controller obtained from the Nehari problem. The controller construction simply requires the solution to the standard LQR Riccati equation, in addition to two Lyapunov equations. Simulations over a range of plants demonstrates that the regret-optimal controller interpolates nicely between the $H_2$ and the $H_\infty$ optimal controllers, and generally has $H_2$ and $H_\infty$ costs that are simultaneously close to their optimal values. The regret-optimal controller thus presents itself as a viable option for control system design.

연구 동기 및 목표

• 표준 H₂ 및 H∞ 제어기의 한계를 해결하기 위해 전정보 제어에서 회한 기반의 새로운 성능 기준을 도입한다.
• 모든 유한 에너지 간섭에 대해 최악의 경우의 회한을 최소화하여, 향후 간섭의 실현값에 관계없이 강건성을 확보한다.
• 인과적 및 엄격히 인과적인 설정에서 회한 최적 제어기의 명시적 상태공간 공식을 유도한다.
• 회한 최적 제어기가 H₂ 및 H∞ 성능 모두에서 근사 최적 비용을 달성하며, 두 지표 간의 균형을 이루는지 확인한다.

제안 방법

• 인과적 제어기의 LQR 비용과 향후 간섭을 사전에 알 수 있는 비인과적(클레어보이언트) 제어기의 LQR 비용 간의 차이로 회한을 정의한다.
• 회한 최적 제어 문제를 네하리 문제로 환원한다: 인과적 연산자로 근사하는 반인과적 연산자 문제를 연산자 노름에서 해결한다.
• 표준 H₂ 상태 피드백 이득과 네하리 해로부터 유도된 유한차원 제어기의 합으로서의 회한 최적 제어기의 명시적 상태공간 표현을 유도한다.
• 표준 LQR 리아푸노프 방정식과 추가로 두 개의 리아푸노프 방정식을 풀어 회한 최적 제어기를 구성한다.
• 네하리 문제의 해를 이용해, 모든 유한 에너지 간섭 시퀀스에 대해 최악의 경우의 회한을 최소화하는 제어기를 보장한다.
• 다양한 플랜트에 대해 시뮬레이션을 수행하여 H₂ 및 H∞ 비용을 비교함으로써 제어기 성능을 검증한다.

실험 결과

연구 질문

• RQ1 전정보 설정에서 미래 간섭을 사전에 알 수 있는 비인과적 제어기와의 최악의 경우의 회한을 최소화하는 인과적 제어기를 설계할 수 있는가?
• RQ2 클래식한 H₂ 및 H∞ 제어기와 비교해 볼 때, 회한 최적 제어기는 성능 트레이드오프 측면에서 어떻게 다른가?
• RQ3 회한 최적 제어기의 명시적 상태공간 구조는 무엇이며, 효율적으로 계산할 수 있는가?
• RQ4 회한 최적 제어 문제는 네하리 문제와 같은 잘 알려진 연산자 근사 문제로 환원될 수 있는가?
• RQ5 회한 최적 제어기는 H₂ 및 H∞ 비용 모두에서 동시에 근사 최적 성능을 달성하는가?

주요 결과

• 회한 최적 제어기는 표준 H₂ 상태 피드백 법칙과 두 개의 리아푸노프 방정식을 풀어 유도된 유한차원 제어기의 합으로 명시적으로 구성된다.
• 최적의 회한 값은 네하리 문제의 해에 의해 결정되며, 이는 모든 유한 에너지 간섭에 대해 최소 최악의 경우의 회한을 보장한다.
• 제어기 구성에는 표준 LQR 리아푸노프 방정식과 추가로 두 개의 리아푸노프 방정식의 해만 필요하므로 효율적인 계산이 가능하다.
• 시뮬레이션 결과, 회한 최적 제어기는 H₂ 및 H∞ 비용 모두에서 각각의 최적 값에 근접한 성능을 달성함을 보여주며, 유리한 성능 트레이드오프를 보인다.
• 회한 최적 제어기는 H₂ 및 H∞ 최적 제어기 사이를 매끄럽게 보간하며, 실용적 제어 시스템 설계에 대한 강건한 대안을 제공한다.
• 이 접근법은 회한 최소화와 고전적 네하리 문제 사이의 공식적 연결을 수립하여, 강건 제어 설계를 위한 새로운 이론적 프레임워크를 제공한다.