[論文レビュー] Error analysis of kernel EDMD for prediction and control in the Koopman framework

Friedrich Philipp, Manuel Schaller+3 more|arXiv (Cornell University)|Dec 16, 2023

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿は、コンpact集合上でのユーザー定義分布からのi.i.d.サンプリングを仮定し、Koopmanフレームワーク内でのデータ駆動型予測および制御を目的としたカーネル拡張動的モード分解（kEDMD）の厳密な誤差解析を提示する。誤差の確率的バウンドを、エルゴード性や不変性の仮定を必要とせず、予測誤差に対して確立する。さらに、一般化されたKoopman生成子定義を用いて、制御アフィン系への解析を拡張する。

ABSTRACT

Extended Dynamic Mode Decomposition (EDMD) is a popular data-driven method to approximate the Koopman operator for deterministic and stochastic (control) systems. This operator is linear and encompasses full information on the (expected stochastic) dynamics. In this paper, we analyze a kernel-based EDMD algorithm, known as kEDMD, where the dictionary consists of the canonical kernel features at the data points. The latter are acquired by i.i.d. samples from a user-defined and application-driven distribution on a compact set. We prove bounds on the prediction error of the kEDMD estimator when sampling from this (not necessarily ergodic) distribution. The error analysis is further extended to control-affine systems, where the considered invariance of the Reproducing Kernel Hilbert Space is significantly less restrictive in comparison to invariance assumptions on an a-priori chosen dictionary.

研究の動機と目的

• コンパクトな状態空間上でのユーザー定義分布（非エルゴード的である可能性あり）からのi.i.d.サンプリングを仮定した、カーネルベースEDMD（kEDMD）の厳密な誤差解析を提供すること。
• 従来のkEDMD誤差解析で一般的に見られる、辞書や測度に対する制限的な不変性仮定を排除すること。
• 関数空間の不変性を要件としない一般化されたKoopman生成子定義を導入することで、Koopman作用素が関数空間を自身に写さない系に対しても誤差バウンドを拡張すること。
• ヒルバート＝シュミットノルムにおける（共）共分散作用素の誤差バウンドを、独立な確率変数に対するホーフィングの不等式を用いて確立すること。
• Duffing振動子を用いた数値実験を通じて、理論的結果の妥当性を検証すること。特に、長時間予測および制御性能を評価する。

提案手法

• コンパクト集合上でのユーザー定義分布からのi.i.d.サンプリングを用いてkEDMDのためのデータ収集を行い、エルゴード性の仮定を回避する。
• サンプリングされたデータ点におけるカーネル特徴写像から辞書を構築し、それらを再生核ヒルバート空間（RKHS）に埋め込む。
• 独立な確率変数に対するホーフィングの不等式を用いて、ヒルバート＝シュミットノルムにおける（共）共分散作用素の確率的誤差バウンドを導出する。
• 関数空間の不変性を要件としないようにKoopman生成子を一般化し、Koopman作用素が関数空間を自身に写さない系に対しても解析を可能にする。
• 制御アフィン系では、異なる制御入力におけるKoopman作用素の間を補間するバイリニアKoopmanモデルを用いる。
• 状態変数の元の空間への再構成は、カーネル特徴量を元の状態変数に最小二乗フィッティングすることで行う。

Figure 1. Ornstein-Uhlenbeck process: Error bound from Prop. 4.1 (circles) versus $(1-\delta)$ -percentile of the actual estimation error estimated from fifty independent trials (squares), for three different bandwidths $\sigma$ indicated by different colors and linestyles.

実験結果

リサーチクエスチョン

• RQ1 非エルゴード的でユーザー定義の分布からのi.i.d.サンプリングを仮定した場合、kEDMDの予測誤差バウンドは何か？
• RQ2 Koopman作用素が関数空間を自身に写さない（不変性が欠如する）系において、kEDMDの誤差解析をどのように拡張できるか？
• RQ3 実際の応用において、正則化パラメータやカーネル幅がkEDMDモデルの予測精度に与える影響は何か？
• RQ4 Duffing振動子のような非線形系において、バイリニアKoopmanモデルは長時間予測および制御性能をどの程度達成できるか？
• RQ5 理論的誤差バウンドは、ベンチマーク非線形制御系において数値的に妥当性を確認できるか？

主な発見

• 本稿では、i.i.d.サンプリング下で、状態空間の部分集合が力学に沿って不変でない場合でも有効な、kEDMD推定子のヒルバート＝シュミットノルムにおける確率的誤差バウンドを導出する。
• 誤差バウンドはサンプルサイズ、カーネルの滑らかさ、およびカーネルの固有値特性に依存し、正則化パラメータの明示的依存関係を有する。
• 一般化されたKoopman生成子定義により、不変性が保証されない設定でも誤差解析が可能となり、従来の辞書や測度に関する仮定を大幅に緩和する。
• Duffing振動子における数値結果から、正則化パラメータを増加させることで予測誤差が減少し、γ = 10⁻⁵で最適性能が達成されることが示された。
• バイリニアKoopmanモデルは12.5時間の時間スケールにわたり優れた長時間予測性能を示し、平均相対誤差が低く、時間変動する制御入力に対しても安定したダイナミクスを維持した。
• カーネル特徴量を元の状態変数に最小二乗フィッティングすることで、高い精度で状態再構成が可能となり、ライズド空間からの元のシステム状態の信頼性のある予測が実現された。

Figure 2. Left: initial training data $x_{k}$ (blue) and corresponding time shifted data $y_{k}$ (red) for fixed input $\bar{u}=0$ . The black square indicates the initial domain $\mathcal{X}=[-1.5,1.5]^{2}$ . Right: Evaluation of the state variable $x_{k}$ on the data $y_{k}^{\bar{u}}$ , approximat