[論文レビュー] Regret-optimal Estimation and Control

Gautam Goel, Babak Hassibi|arXiv (Cornell University)|Jun 22, 2021

Advanced Control Systems Optimization被引用数 4

ひとこと要約

本稿では、オンライン因果的ポリシーと事前知識を持つ非因果的ベンチマークの間の最悪ケース差（レグレット）を最小化することにより、線形時変システムにおけるレグレット最適推定器および制御器を導入する。演算子論的技術と状態空間の再定式化を用いて、歪みエネルギーに基づく、データに依存するタイトなレグレットバウンドを達成する因果的フィルタおよび制御器を導出する。数値実験では、EKF や MPC といった標準的手法を上回る性能を示す。

ABSTRACT

We consider estimation and control in linear time-varying dynamical systems from the perspective of regret minimization. Unlike most prior work in this area, we focus on the problem of designing causal estimators and controllers which compete against a clairvoyant noncausal policy, instead of the best policy selected in hindsight from some fixed parametric class. We show that the regret-optimal estimator and regret-optimal controller can be derived in state-space form using operator-theoretic techniques from robust control and present tight,data-dependent bounds on the regret incurred by our algorithms in terms of the energy of the disturbances. Our results can be viewed as extending traditional robust estimation and control, which focuses on minimizing worst-case cost, to minimizing worst-case regret. We propose regret-optimal analogs of Model-Predictive Control (MPC) and the Extended KalmanFilter (EKF) for systems with nonlinear dynamics and present numerical experiments which show that our regret-optimal algorithms can significantly outperform standard approaches to estimation and control.

研究の動機と目的

• 従来の H₂ および H∞ 制御の限界を解決すること。これらは特定の歪みクラスを仮定しており、不一致する歪みに対しては失敗する可能性がある。
• 将来の歪みを完全に把握しているグローバルに最適な非因果的ベンチマークに対してレグレットを最小化する、適応的かつ因果的な推定器および制御器を設計すること。
• 固定されたパrametricポリシークラスに限定されない、より一般的な非パラメトリックな最適な事前知識を持つポリシーとの比較における、レグレット最小化の概念を拡張すること。
• 推定および制御問題の両方に対して、歪みエネルギーに基づくタイトな、データに依存するレグレットバウンドを提供すること。

提案手法

• 因果的オンラインポリシーと、事前に全歪み系列を把握している事前知識を持つ非因果的ポリシーとの比較として、レグレット最小化を定式化する。
• ロバスト制御分野の演算子論的技術を用いて、レグレット最適推定器および制御器の状態空間表現を導出する。
• H∞ フィルタが元のシステムにおけるレグレット最適フィルタに対応する、3n状態の拡張系を構築する。
• 状態の拡張を用いて、システムダイナミクスを再定式化することで、予測ホライズンや制御遅延を含む設定への結果の拡張を実施する。
• 同じフレームワークを用いて、非線形システムのレグレット最適 Model-Predictive Control (MPC) および Extended Kalman Filter (EKF) の類似形を導出する。
• 歪みエネルギーに比例する、タイトなエネルギーベースのレグレットバウンドを確立し、歪み構造に依存しない。

実験結果

リサーチクエスチョン

• RQ1 全測定値を事前に入手可能な滑らかな非因果的推定器に対して、因果的推定器を設計し、そのレグレットを最小化できるか？
• RQ2 全未来の歪みを事前に把握している事前知識を持つコントローラーに対して、因果的コントローラーを設計し、そのレグレットを最小化できるか？
• RQ3 ポリシークラスに制限的なパラメトリック仮定を課さずに、レグレット最適推定と制御をどのように定式化できるか？
• RQ4 線形時変システムにおける、歪みエネルギーに基づくタイトな、データに依存するレグレットバウンドは何か？
• RQ5 予測または制御遅延を含むシステムに、レグレット最適フレームワークをどのように拡張できるか？

主な発見

• レグレット最適フィルタは、3n状態の拡張系における H∞ フィルタとして導出され、標準的なフィルタ（カルマンフィルタや H∞ フィルタ）の即時置き換えが可能である。
• レグレット最適コントローラーは、歪みエネルギーに比例する定数倍の最悪ケースレグレットバウンドを達成し、歪み分布に依存しない。
• 数値実験では、レグレット最適アルゴリズムが、推定および制御コストの面で、標準的な EKF や MPC を顕著に上回ることが示された。
• 状態の拡張を用いることで、予測ホライズンや制御遅延を含むシステムへの一般化が可能であり、レグレット最適性が保たれる。
• レグレットバウンドはタイトでデータに依存し、全歪みエネルギーに線形に比例するため、性能保証が強固で解釈可能である。
• 非線形システムに対しても、EKF や MPC のレグレット最適類似形を用いることで、線形モデルを超えた実用的関連性を示している。