[論文レビュー] On the Certainty-Equivalence Approach to Direct Data-Driven LQR Design

Florian Dörfler, Pietro Tesi+1 more|arXiv (Cornell University)|Sep 14, 2021

Control Systems and Identification被引用数 12

ひとこと要約

本稿では、間接的確信度同等法と直接的ロバスト手法の間を橋渡しする、新しい直接的正則化付きデータ駆動型LQR設計を提案する。最小二乗法によるシステム同定とノーマルLQR設計を1段階の最適化問題に再定式化し、データ適合正則化子を導入することで、ノイズのあるデータ下でも安定性と性能保証を達成する。SNR依存の明示的境界と、確信度同等とロバスト性を促進する正則化子を組み合わせた場合の優れた経験的性能を実現する。

ABSTRACT

The linear quadratic regulator (LQR) problem is a cornerstone of automatic control, and it has been widely studied in the data-driven setting. The various data-driven approaches can be classified as indirect (i.e., based on an identified model) versus direct or as robust (i.e., taking uncertainty into account) versus certainty-equivalence. Here we show how to bridge these different formulations and propose a novel, direct, and regularized formulation. We start from indirect certainty-equivalence LQR, i.e., least-square identification of state-space matrices followed by a nominal model-based design, formalized as a bi-level program. We show how to transform this problem into a single-level, regularized, and direct data-driven control formulation, where the regularizer accounts for the least-square data fitting criterion. For this novel formulation we carry out a robustness and performance analysis in presence of noisy data. Our proposed direct and regularized formulation is also amenable to be further blended with a robust-stability-promoting regularizer. In a numerical case study we compare regularizers promoting either robustness or certainty-equivalence, and we demonstrate the remarkable performance when blending both of them.

研究の動機と目的

• 2段階の同定・設計問題を1段階の定式化に変換することで、間接的確信度同等LQRと直接的データ駆動制御を統合すること。
• 正則化子が最小二乗法によるデータ適合を強制することで、確信度同等と関連づけられる、正則化付き直接的データ駆動型LQR定式化を導出すること。
• ノイズのあるデータ下での非漸近的ロバスト性および性能解析を提供し、ノイズ分布に依存しないこと。
• 確信度同等とロバスト性を促進する正則化子を組み合わせて、経験的性能を向上させること。
• 提案手法が大きな正則化において間接的手法を回復し、高SNR下でほぼ最適な性能を達成することを示すこと。

提案手法

• 最小二乗法によるシステム同定とその後に続くモデルベースLQR設計を含む、間接的確信度同等LQRを2段階最適化として形式化する。
• シュール補行列と行列リフト技術を用いて、2段階問題を1段階の正則化付きデータ駆動最適化に変換する。
• LQR目的関数に、システム同定における最小二乗誤差に対応するデータ適合正則化子を導入し、確信度同等を促進する。
• 代数的および半正定値プログラミング変換を用いて、正則化付き直接的定式化と古典的間接的確信度同等LQRとの等価性を確立する。
• 先行研究から得たロバスト性を促進する正則化子を統合し、低SNR下での安定性を向上させ、ハイブリッド正則化を可能にする。
• 非漸近的解析を用いて、SNRおよび標本サイズの関数として、閉ループ安定性およびサブ最適性ギャップのスケーリングに関する明示的条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 間接的確信度同等LQRアプローチを、明確な正則化子を有する直接的1段階のデータ駆動最適化問題に再定式化できるか？
• RQ2 提案された正則化子は最小二乗法によるシステム同定とどのように関連し、安定性および性能の向上にどのような役割を果たすか？
• RQ3 ノイズ分布に依存せず、どのような条件下で確信度同等アプローチがノイズのあるデータ下でも安定化制御器を生成するか？
• RQ4 有限標本下での信号対ノイズ比（SNR）に対するサブ最適性ギャップのスケーリングはどのようになるか？
• RQ5 確信度同等とロバスト性を促進する正則化子を組み合わせることで、データ駆動型LQR設計における経験的性能が向上するか？

主な発見

• 提案された直接的正則化付きデータ駆動型LQR定式化は、古典的間接的確信度同等LQRと数学的に同等であり、正則化子が最小二乗法によるデータ適合を強制することで関連づけられる。
• 信号対ノイズ比（SNR）が十分に高い場合、ノイズ分布に依存せず、確信度同等制御器は閉ループ系を安定化する。
• 十分に高いSNR下では、サブ最適性ギャップはSNRに線形に依存し、低不確実性領域での優れた性能を確認する。
• 文献[16]のロバスト性を促進する正則化子は低SNR下で性能を向上させるが、高SNR下では劣化する一方、確信度同等正則化子は高SNR条件下で優れた性能を示す。
• 両正則化子を1つの定式化に統合することで、顕著な経験的性能が得られ、単独で使用する正則化子を上回る。
• 導出および実装が単純であり、他のシステムクラス、同定基準、制御目的への拡張が可能である。