[論文レビュー] Regret-optimal measurement-feedback control

Gautam Goel, Babak Hassibi|arXiv (Cornell University)|Nov 24, 2020

Advanced Bandit Algorithms Research参考文献 13被引用数 7

ひとこと要約

本稿では、理想のコントローラーに対する最悪ケースの性能損失を最小化するレジット最適な測定フィードバック制御フレームワークを提案する。システムおよびコントローラーのゲインを含む構造的行列変換を活用することで、転送演算子の恒等式を導出し、凸最適化を用いた最適コントローラー設計を可能にし、モデル不確実性下でもロバストな性能を達成する。

ABSTRACT

We consider measurement-feedback control in linear dynamical systems from the perspective of regret minimization. Unlike most prior work in this area, we focus on the problem of designing an online controller which competes with the optimal dynamic sequence of control actions selected in hindsight, instead of the best controller in some specific class of controllers. This formulation of regret is attractive when the environment changes over time and no single controller achieves good performance over the entire time horizon. We show that in the measurement-feedback setting, unlike in the full-information setting, there is no single offline controller which outperforms every other offline controller on every disturbance, and propose a new $H_2$-optimal offline controller as a benchmark for the online controller to compete against. We show that the corresponding regret-optimal online controller can be found via a novel reduction to the classical Nehari problem from robust control and present a tight data-dependent bound on its regret.

研究の動機と目的

• モデル不確実性下で、理想のコントローラーに対する最悪ケースの性能損失（レジット）を最小化する制御フレームワークの開発。
• 完全な状態測定が不可能な状況において、測定フィードバックアーキテクチャを用いて最適コントローラーを設計する課題への対処。
• コントローラー転送演算子と構造的行列変換を結ぶ数学的恒等式の確立により、レジット基準の凸最適化を可能にする。
• 不確実なシステムパラメータが存在する状況でも、ロバスト性と最適性を保証する計算的に扱いやすいコントローラー設計手法の提供。

提案手法

• システムおよびコントローラーのダイナミクスをパrameter化するため、$ S = I + FF^ op $, $ T = I + F^ op F $, $ U = I + LL^ op $, および $ V = I + L^ op L $ を用いた構造的行列変換を導入する。
• コントローラーの転送演算子を標準形に写像する変換行列 $ \theta $ および $ \psi $ を定義し、転送演算子 $ \mathcal{T}_K $ を含む恒等式の導出を可能にする。
• 転送演算子 $ \mathcal{T}_K $ と変換された行列の間の正確な恒等式を確立し、これによりレジット最小化問題を凸最適化問題に再定式化する。
• 恒等式を用いて、レジットを構造的行列の逆行列平方根を用いて表現し、最適ゲインの効率的計算を可能にする。
• コントローラーの状態推定およびフィードバック構造を行列パrameter化に組み込むことで、測定フィードバック制御への適用を実施する。
• 最適コントローラーが理想性能からの最悪ケースの偏差を最小化する条件を導出し、ロバスト性と最適性を保証する。

実験結果

リサーチクエスチョン

• RQ1 完全な状態情報が得られない測定フィードバック設定において、レジット最適制御をどのように定式化できるか？
• RQ2 レジット最小化問題を凸最適化問題に変換可能にする数学的構造は何か？
• RQ3 行列変換 $ S, T, U, V $ 及びその逆行列は、コントローラーのパフォーマンスと安定性にどのように関連するか？
• RQ4 構造的行列を用いて、コントローラーの転送演算子を正確にパラメータ化可能か？ これにより、最適レジット最小化が可能になるか？
• RQ5 理想のコントローラーに対する最小の最悪ケース性能損失を達成するための条件は何か？

主な発見

• 本稿では、コントローラーの転送演算子 $ \mathcal{T}_K $ と構造的行列変換 $ \theta $, $ \psi $ の間の正確な恒等式を確立し、レジットの正確な特徴付けを可能にした。
• 行列の逆行列および平方根を用いることで、レジット最小化問題が凸最適化問題に再定式化され、計算の扱いやすさが保証された。
• 本フレームワークにより、モデル不確実性下でも、最適コントローラーが理想コントローラーに対する最小可能な最悪ケース性能損失を達成することが保証された。
• 導出されたコントローラー構造は、測定フィードバック制約を内蔵しており、利用可能な測定値のみをフィードバックに使用することを保証する。
• 行列 $ S, T, U, V $ 及びその逆行列を含む凸計画問題を解くことで、最適コントローラーのゲインを体系的に計算する手法が提供された。
• 変換フレームワークにより、非凸なバイナリ項を回避する問題構造が得られ、数値的安定性およびスケーラビリティが確保された。