[論文レビュー] Promoting global stability in data-driven models of quadratic nonlinear dynamics

Alan A. Kaptanoglu, Jared Callaham+3 more|arXiv (Cornell University)|May 5, 2021

Model Reduction and Neural Networks参考文献 171被引用数 95

ひとこと要約

本稿では、シュレーゲルとノアックのトラッピング定理を最適化目的関数に組み込むことで、二次非線形系のモデルにおけるグローバル安定性を強制するデータ駆動型機械学習手法「トラッピングSINDy」を提案する。この手法は、系のエネルギー動的を制約することで、長期的に有界な軌道を保証し、特にノイズや流体・プラズマ流れの高次元低次元モデルにおいて、安定性と精度を顕著に向上させる。

ABSTRACT

Modeling realistic fluid and plasma flows is computationally intensive, motivating the use of reduced-order models for a variety of scientific and engineering tasks. However, it is challenging to characterize, much less guarantee, the global stability (i.e., long-time boundedness) of these models. The seminal work of Schlegel and Noack (JFM, 2015) provided a theorem outlining necessary and sufficient conditions to ensure global stability in systems with energy-preserving, quadratic nonlinearities, with the goal of evaluating the stability of projection-based models. In this work, we incorporate this theorem into modern data-driven models obtained via machine learning. First, we propose that this theorem should be a standard diagnostic for the stability of projection-based and data-driven models, examining the conditions under which it holds. Second, we illustrate how to modify the objective function in machine learning algorithms to promote globally stable models, with implications for the modeling of fluid and plasma flows. Specifically, we introduce a modified "trapping SINDy" algorithm based on the sparse identification of nonlinear dynamics (SINDy) method. This method enables the identification of models that, by construction, only produce bounded trajectories. The effectiveness and accuracy of this approach are demonstrated on a broad set of examples of varying model complexity and physical origin, including the vortex shedding in the wake of a circular cylinder.

研究の動機と目的

• 流体・プラズマ流れのデータ駆動型低次元モデルにおけるグローバル安定性の保証の欠如に対処すること。
• 元来射影に基づくモデルに適用されていたシュレーゲルとノアックのトラッピング定理を、現代の機械学習モデル向けの診断・設計ツールへと適応させること。
• 構築段階から本質的にグローバルに安定なモデルを生成するように変更されたSINDyアルゴリズムの開発。
• 特にバブル剥離などの複雑な流れを含む、ノイズや高次元設定下でのシステム同定のロバスト性と精度の向上。

提案手法

• 二次的でエネルギー保存型非線形性を有するデータ駆動型モデルの安定性診断として、シュレーゲルとノアックのトラッピング定理を統合する。
• エネルギー微分行列の半負定値性を強制するカスタム損失項を追加することで、スパース非線形ダイナミクスの同定（SINDy）アルゴリズムを変更する。
• エネルギー関数をリャプノフ関数として用いることで、軌道がトラッピング領域内に有界に保たれることを保証する。
• トラッピング定理から導かれるグローバル安定性の必要十分条件を満たすために、非凸最適化を適用する。
• 再現可能性と既存ワークフローへの統合を目的に、オープンソースのPySINDyパッケージに実装する。
• 流体流れの高精度直接数値シミュレーション（DNS）を含む、ベンチマーク系、カオス的ダイナミクス、および高次元低次元モデルに対して、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 シュレーゲルとノアックのトラッピング定理は、データ駆動型モデルに対して後処理としての安定性診断として効果的に適用可能か？
• RQ2 トラッピング定理を機械学習アルゴリズムの損失関数に埋め込むには、どのようにすればグローバルに安定なモデルを促進できるか？
• RQ3 トラッピング条件によるグローバル安定性の強制は、ノイズや汚損データ下でもモデルの精度とロバスト性を向上させるか？
• RQ4 高次元低次元モデルにおいて、トラッピングSINDy手法は制約なしまたは局所的に安定なSINDyモデルをどれほど上回るか？
• RQ5 ニューラルネットワークエンコーダーやクープマンベースのリフトによって引き起こされる非線形座標変換の下で、安定性特性はどのように変化するか？

主な発見

• トラッピングSINDyアルゴリズムは、混沌とした系であっても、最大O(10)自由度のデータから、グローバルに安定したスパースモデルを成功裏に同定した。
• トラッピングSINDy損失で学習したモデルは、ノイズに対して顕著にロバストであり、制約なしSINDyモデルが発散するのに対し、有界な軌道を維持した。
• 円形シリンダーの後方バブル剥離の事例において、最小限のデータ汚損でDNSスナップショットから正確で安定した低次元モデルを回復した。
• 明示的なトラッピング領域が計算不能な場合でも、アルゴリズムは定理の適合を越えた広範な安定性向上を示した。
• 特に強い非線形エネルギー移動を示す系において、長時間シミュレーションの忠実度が、標準SINDyおよび制約付き変種を上回った。
• 低次元ベンチマークおよび高次元流体力学問題の両方で有効性を示したため、複雑系へのスケーラビリティが示唆された。