[論文レビュー] Optimal Competitive-Ratio Control

Oron Sabag, Sahin Lale+1 more|arXiv (Cornell University)|Jun 3, 2022

Advanced Bandit Algorithms Research被引用数 6

ひとこと要約

本稿は、競争比制御問題に対する最初の明示的最適解を提示する。Nehari問題に定式化することで、単純な行列の最大固有値として最小競争比を導出する。この解法により、因果的制御と予知的制御のコスト比の最悪ケースを最小化する状態空間制御器が得られ、大規模システムにおいて既存手法を上回る性能を発揮する。

ABSTRACT

Inspired by competitive policy designs approaches in online learning, new control paradigms such as competitive-ratio and regret-optimal control have been recently proposed as alternatives to the classical $\mathcal{H}_2$ and $\mathcal{H}_\infty$ approaches. These competitive metrics compare the control cost of the designed controller against the cost of a clairvoyant controller, which has access to past, present, and future disturbances in terms of ratio and difference, respectively. While prior work provided the optimal solution for the regret-optimal control problem, in competitive-ratio control, the solution is only provided for the sub-optimal problem. In this work, we derive the optimal solution to the competitive-ratio control problem. We show that the optimal competitive ratio formula can be computed as the maximal eigenvalue of a simple matrix, and provide a state-space controller that achieves the optimal competitive ratio. We conduct an extensive numerical study to verify this analytical solution, and demonstrate that the optimal competitive-ratio controller outperforms other controllers on several large scale practical systems. The key techniques that underpin our explicit solution is a reduction of the control problem to a Nehari problem, along with a novel factorization of the clairvoyant controller's cost. We reveal an interesting relation between the explicit solutions that now exist for both competitive control paradigms by formulating a regret-optimal control framework with weight functions that can also be utilized for practical purposes.

研究の動機と目的

• 先行研究が部分最適問題にしか対応しなかったのに対し、競争比制御におけるギャップを埋めるために、明示的最適解を提供すること。
• 最小競争比の閉形式表現を導出し、予知的制御器との性能ベンチマークを可能にすること。
• 一般線形時不変系に対して、最小競争比を達成する状態空間制御器を設計すること。
• 重み付きレグret定式化を通じて、レグレット最適制御と競争比制御フレームワークを統合すること。
• 大規模実用的システムにおける最適制御器の優れた実験的性能を示すこと。

提案手法

• 制御問題を作用素論的技術を用いてNehari問題に再定式化し、既知のNehari問題ソルバを用いて最適解を得られるようにする。
• 予知的制御器のコストの新しい因子分解を導入し、Nehari問題への還元を可能にする。
• 最小競争比は、システムパラメータから導かれる単純な行列の最大固有値として計算される。
• 状態空間制御器は、2つのリカチ方程式と3つのラピュノフ方程式の解を用いて構築される。
• 状態、入力、摂動に重み演算子を組み込むことで、レグレット最適制御を一般化する。
• 理論的最適性と性能向上を確認するため、複数の大規模システムで数値的検証が行われた。

実験結果

リサーチクエスチョン

• RQ1 有界エネルギーの摂動下における線形時不変系において、最小競争比の明示的公式は何か？
• RQ2 最小比を達成するための最適制御器を、状態空間形式で明示的に構築する方法は何か？
• RQ3 レグレット最適制御と競争比制御の間には、それらの数学的構造としてどのような関係があるか？
• RQ4 競争比制御問題は、解けるNehari問題に還元可能か？ もしそうなら、その方法は何か？
• RQ5 実世界のシステムにおいて、最適競争比制御器は部分最適または古典的H2/H∞制御器と比較して、性能でどのように優れるか？

主な発見

• 最小競争比は、システムダイナミクスとコストパラメータから導かれる単純な行列の最大固有値として明示的に与えられる。
• 最適制御器は、2つのリカチ方程式と3つのラピュノフ方程式の解を用いて構築され、実装が可能である。
• スカラー系では、最適競争比制御器は標準的なLQR（H2）制御器に簡略化される。
• 広範な数値的実験を通じて、大規模システムにおいて既存の制御器よりも優れた性能を発揮することが確認された。
• フレームワークにより、競争比制御とレグレット最適制御の双対性が明らかになり、競争比制御は重み付きレグレット最適問題と等価であることが示された。
• 状態空間制御器構造が明示的に導出され、補助状態とフィードバックゲインを含む明確な実装が得られた。