[論文レビュー] Asymptotic consistency of the WSINDy algorithm in the limit of continuum data

Daniel A. Messenger, David M. Bortz|arXiv (Cornell University)|Nov 29, 2022

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本稿は、ノイズが混在する高分解能データからの微分方程式同定のための弱形式SINDy（WSINDy）アルゴリズムの漸近的一貫性を確立する。ノイズが除去された状態では、局所リプシッツ連続な非線形性を有する広範な条件下で、WSINDyは真のモデル構造を無条件に回復することを証明する。一方、ノイズが閾値を超えると偽の項が出現する臨界ノイズレベルを同定し、データ駆動型方程式同定におけるその頑健性の厳密な基礎を提供する。

ABSTRACT

In this work we study the asymptotic consistency of the weak-form sparse identification of nonlinear dynamics algorithm (WSINDy) in the identification of differential equations from noisy samples of solutions. We prove that the WSINDy estimator is unconditionally asymptotically consistent for a wide class of models which includes the Navier-Stokes equations and the Kuramoto-Sivashinsky equation. We thus provide a mathematically rigorous explanation for the observed robustness to noise of weak-form equation learning. Conversely, we also show that in general the WSINDy estimator is only conditionally asymptotically consistent, yielding discovery of spurious terms with probability one if the noise level is above some critical threshold and the nonlinearities exhibit sufficiently fast growth. We derive explicit bounds on the critical noise threshold in the case of Gaussian white noise and provide an explicit characterization of these spurious terms in the case of trigonometric and/or polynomial model nonlinearities. However, a silver lining to this negative result is that if the data is suitably denoised (a simple moving average filter is sufficient), then we recover unconditional asymptotic consistency on the class of models with locally-Lipschitz nonlinearities. Altogether, our results reveal several important aspects of weak-form equation learning which may be used to improve future algorithms. We demonstrate our results numerically using the Lorenz system, the cubic oscillator, a viscous Burgers growth model, and a Kuramoto-Sivashinsky-type higher-order PDE.

研究の動機と目的

• 連続的データの極限において、WSINDyアルゴリズムの漸近的一貫性を厳密に確立すること。
• ノイズが存在する中でも真のモデル構造を無条件に回復できる条件を同定すること。
• 確率1で偽の項が出現する臨界ノイズ閾値を特定すること。
• 局所リプシッツ連続な非線形性を有する系において、単純な移動平均によるデータのノイズ除去が、無条件的一貫性を回復することを示すこと。
• ガウス白色ノイズの場合の臨界ノイズレベルに対する明示的バウンディングと、多項式・三角関数的モデルにおける偽の項の特徴を提示すること。

提案手法

• 真の重みベクトルのサポート回復問題としてWSINDy問題を定式化し、スパース回帰フレームワークに組み込む。
• 時空間グリッド上で動的挙動を統合することで弱形式を定式化し、点での微分計算を回避する。
• スパース性を促進するペナルティを備えた修正最小二乗推定器（MSTLS）を用い、モデルライブラリ内の関連する項を同定する。
• 濃度不等式と射影作用素の安定性を用いて、推定された重みと真の重みとの乖離をバウンディングする。
• グラム行列の固有値特性とノイズに起因する摂動を用いて、臨界ノイズ閾値を導出する。
• 有限差分に基づくモーメント条件を用いて、データからノイズレベルを推定する分散推定を実施する。

実験結果

リサーチクエスチョン

• RQ1 データ解像度が向上する極限において、WSINDy推定量が漸近的に一貫するのはどのような条件下か？
• RQ2 確率1で偽の項が出現する臨界ノイズレベルは何か？
• RQ3 局所リプシッツ連続な非線形性を有する系において、データのノイズ除去はWSINDyの漸近的一貫性にどのように影響するか？
• RQ4 ガウス白色ノイズの場合に、臨界ノイズ閾値に対して明示的なバウンディングを導出可能か？
• RQ5 多項式または三角関数的非線形性を有するモデルにおいて、偽の項はどのように明示的に特徴付けられるか？

主な発見

• 局所リプシッツ連続な非線形性を有する広範なモデルクラス（ナビエ＝ストークス方程式やクーラン＝シヴァシンスキー方程式など）において、WSINDyは真のモデル構造を無条件に漸近的に一貫して回復する。
• 非線形項が急激に増大するモデルでは、WSINDyは条件的一貫性にとどまる：ノイズが臨界閾値を超えると、確率1で偽の項が出現する。
• 臨界ノイズ閾値の明示的下界として、$ \frac{\nu^*}{C} $ が導出される。ここで $ \nu^* $ はモデル構造に関連する幾何的定数、$ C $ は安定性定数である。
• ガウス白色ノイズの場合、臨界ノイズ閾値は $ \frac{\nu^*}{C} $ で下界が保証され、十分に低いノイズレベルではサポート回復が保証される。
• 多項式または三角関数的モデルにおける偽の項は、真の射影作用素と推定された射影作用素との不一致に基づいて明示的に特徴付けられる。
• データに単純な移動平均フィルタを適用することで、局所リプシッツ連続な非線形性を有するすべてのモデルにおいて、無条件的一貫性が回復される。