[論文レビュー] Measurement-Feedback Control with Optimal Data-Dependent Regret

Gautam Goel, Babak Hassibi|arXiv (Cornell University)|Sep 14, 2022

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、合成系におけるH∞最適制御に帰着することで、データ依存のレグレットを最適化する線形システムのためのレグレット最適な測定フィードバック制御則を導入する。2種類の制御則を導出する：1つは駆動力と測定ノイズの結合エネルギーに最適な依存性を示し、もう1つは駆動力の経路長と測定ノイズエネルギーに最適なトレードオフを示す。一般に有界な競合比は達成不可能であることを証明する。

ABSTRACT

Inspired by online learning, data-dependent regret has recently been proposed as a criterion for controller design. In the regret-optimal control paradigm, causal controllers are designed to minimize regret against a hypothetical optimal noncausal controller, which selects the globally cost-minimizing sequence of control actions given noncausal access to the disturbance sequence. We extend regret-optimal control to the more challenging measurement-feedback setting, where the online controller must compete against the optimal noncausal controller without directly observing the state or the driving disturbance. We show that no measurement-feedback controller can have bounded competitive ratio or regret which is bounded by the pathlength of the measurement disturbance. We do derive, however, a controller whose regret has optimal dependence on the joint energy of the driving and measurement disturbances, and another controller whose regret has optimal dependence on the pathlength of the driving disturbance and the energy of the measurement disturbance. The key technique we introduce is a reduction from regret-optimal measurement-feedback control to $H_{\infty}$-optimal measurement-feedback control in a synthetic system. We present numerical simulations which illustrate the efficacy of our proposed control algorithms.

研究の動機と目的

• 測定フィードバック設定において、非因果的最適制御則に対するレグレットを最小化する因果的制御則の設計という課題に取り組む。
• 測定フィードバック下での一般線形系において、有界な競合比または経路長に依存するレグレットが一般に達成不可能であるという制限を克服する。
• 駆動力と測定ノイズの複雑さの尺度（結合エネルギーと混合経路長・エネルギー）に最適な依存性を示す制御則を開発する。
• レグレット最適な測定フィードバック制御を、合成系におけるH∞最適制御に還元するフレームワークを確立し、実用的な設計を可能にする。

提案手法

• クラリヴォイアントな非因果的制御則に対するレグレットの最小化として、レグレット最適な測定フィードバック制御問題を定式化する。
• 元の測定フィードバック問題をH∞最適制御問題に変換するための合成系を導入する。
• 拡張状態および拡張入力を用いて、元のシステムのダイナミクスとノイズモデルを合成系に埋め込むための状態空間変換を実施する。
• 得られた合成系に対してH∞最適制御フレームワークを適用し、保証された最適なレグレットバウンドを持つ制御則を導出する。
• 2種類の異なる制御則を導出する：1つは駆動力と測定ノイズの結合エネルギーに最適な依存性を示し、もう1つは駆動力の経路長と測定ノイズエネルギーの最適なトレードオフを実現する。
• 分離原理とリカッチ方程式の解を活用して、導出された制御則の安定性と最適性を保証する。

実験結果

リサーチクエスチョン

• RQ1 測定フィードバック制御則は、測定ノイズの経路長に依存する有界な競合比または有界レグレットを達成できるか？
• RQ2 異なるノイズ複雑さの尺度に対して、測定フィードバック制御則が達成可能な最適なレグレット依存性は何か？
• RQ3 レグレット最適な測定フィードバック制御は、合成系におけるH∞最適制御問題に還元可能か？
• RQ4 提案された制御則は、多様なノイズタイプにおいて、標準的なH₂およびH∞制御則と比較してどのように性能を発揮するか？
• RQ5 測定フィードバック制御設定におけるレグレット最小化の根本的限界は何か？

主な発見

• 測定フィードバック制御則は、一般に有界な競合比または測定ノイズの経路長に依存する有界レグレットを達成できない。
• 提案された制御則は、駆動力と測定ノイズの結合エネルギーに最適な依存性を示し、理論的下界と一致する。
• 2番目の制御則は、駆動力の経路長と測定ノイズエネルギーに最適なトレードオフを実現する。
• 2重積分器系における数値シミュレーションでは、i.i.d.ガウスノイズ下でエネルギー最適制御則が他の制御則を上回る性能を示す。
• ガウス的ランダムウォークノイズ下では、経路長最適制御則が非因果的ベンチマークを良好に追従し、エネルギーに比べて経路長が小さい状況で優位性を示す。
• 敵対的インパulseノイズ下では、H∞最適およびエネルギー最適制御則がH₂および経路長最適制御則を上回り、ロバストネスが裏付けられる。