[論文レビュー] Kernel Learning for Robust Dynamic Mode Decomposition: Linear and Nonlinear Disambiguation Optimization (LANDO)

Peter J. Baddoo, Benjamín Herrmann+2 more|arXiv (Cornell University)|Jun 2, 2021

Model Reduction and Neural Networks参考文献 125被引用数 5

ひとこと要約

この論文は、高次元系における線形および非線形ダイナミクスを、影響力のあるデータサンプルの辞書上でスパースカーネル回帰を実行することによって、区別するカーネル学習手法LANDOを導入する。この手法により、強い非線形性やノイズ下でも、ロバストで解釈可能な動的モード分解が可能となり、局所線形モデルおよび支配的ダイナミクスを正確に回復できる。

ABSTRACT

Research in modern data-driven dynamical systems is typically focused on the three key challenges of high dimensionality, unknown dynamics, and nonlinearity. The dynamic mode decomposition (DMD) has emerged as a cornerstone for modeling high-dimensional systems from data. However, the quality of the linear DMD model is known to be fragile with respect to strong nonlinearity, which contaminates the model estimate. In contrast, sparse identification of nonlinear dynamics (SINDy) learns fully nonlinear models, disambiguating the linear and nonlinear effects, but is restricted to low-dimensional systems. In this work, we present a kernel method that learns interpretable data-driven models for high-dimensional, nonlinear systems. Our method performs kernel regression on a sparse dictionary of samples that appreciably contribute to the underlying dynamics. We show that this kernel method efficiently handles high-dimensional data and is flexible enough to incorporate partial knowledge of system physics. It is possible to accurately recover the linear model contribution with this approach, disambiguating the effects of the implicitly defined nonlinear terms, resulting in a DMD-like model that is robust to strongly nonlinear dynamics. We demonstrate our approach on data from a wide range of nonlinear ordinary and partial differential equations that arise in the physical sciences. This framework can be used for many practical engineering tasks such as model order reduction, diagnostics, prediction, control, and discovery of governing laws.

研究の動機と目的

• 強い非線形性下で標準的DMD（DMD）が脆弱になる問題に対処する。この場合、非線形効果が線形モデル推定をバイアスする。
• 高次元系で困難をきたすスパース非線形ダイナミクス同定（SINDy）のスケーラビリティの制限を克服する。
• データ駆動型の手法を開発し、解釈可能な局所線形モデルを学習するとともに、ダイナミクスにおける線形および非線形寄与を明示的に分離する。
• F(x) = Lx + N(x) で支配される系において、N(x) が強く非線形であっても、真の線形作用素 L を正確に回復できるようにする。
• 状態測定 X におけるノイズに対してロバストでありながら、高次元物理系における解釈可能性および計算効率を維持する。

提案手法

• データがダイナミクスに最も寄与する代表的サンプルのスパース辞書上でカーネル回帰を適用し、カーネル関数を用いてデータを高次元特徴空間にマップする。
• 計算コストの低減および一般化性能の向上を目的として、最小限の代表的サンプルからなる辞書を選択するためのスパース化戦略を用いる。
• 学習問題を、||W k(X̃, X) - Y||_F² + λ||W||² のカーネルリッジ回帰損失の最小化として定式化する。ここで W は重み行列、k はカーネル関数である。
• カーネル展開における線形項の寄与を分離することで、L と N(x) の区別を可能にする。
• 辞書またはカーネル構造に部分的な物理的知識を組み込むことで、解釈可能性および精度を向上させる。
• データがノイズを含む場合に、微分推定に全変動正則化を用い、明示的なノイズ除去なしに ẋ の安定かつ正確な計算を保証する。

実験結果

リサーチクエスチョン

• RQ1 標準的DMDが失敗する高次元非線形力学系において、カーネルベース手法が線形および非線形寄与を効果的に区別できるか。
• RQ2 提案されたカーネル学習フレームワークは、状態測定 X におけるノイズに対してロバストでありながら、線形モデルの解釈可能性をどのように維持するか。
• RQ3 強い非線形性および測定ノイズの下でも、真の線形作用素 L およびダイナミクスの固有値スペクトルをどの程度正確に回復できるか。
• RQ4 辞書のスパarsityが、高次元系におけるモデルの精度および計算効率にどのように影響するか。
• RQ5 部分的な物理的知識を統合することで、モデルの忠実性を向上させるとともに、データ要件を削減できるか。

主な発見

• LANDO手法は、5%のガウスノイズが混入した状態でも、ローレンツ系において真の線形ダイナミクス L を正確に回復でき、平均状態における局所線形モデルの再構成も正確であった。
• 粘性バーガース方程式では、20回の試行において、線形作用素の最初の3つの固有値を正確に回復したが、固有値が大きい場合には感度が高まった。
• 全変動正則化を用いることで、Lorenz系の例で ẋ の微分測定におけるノイズに対してロバストであることが示された。
• 状態データ X におけるノイズに対して、スパース化パラメータが不適切に選ばれた場合、やや感度が高くなる傾向を示した。これは、辞書汚染の可能性によるものである。
• X におけるノイズは、辞書選択および回帰誤差の両方の経路を通じてカーネル回帰に影響を及ぼす。Y におけるノイズに対してはバイアスがないが、X における誤差（誤差変数）に対しては、追加の前処理なしではロバストでない。
• 非線形領域において、線形項と非線形項を明示的に区別するため、LANDOは標準的DMDを上回る性能を示し、より正確で解釈可能なモデルを提供した。