[論文レビュー] Robust Data-Driven Discovery of Partial Differential Equations under Uncertainties

Zhiming Zhang, Yongming Liu|arXiv (Cornell University)|Jan 31, 2021

Model Reduction and Neural Networks参考文献 16被引用数 5

ひとこと要約

本稿では、段階的スパース同定、ニューラルネットワーク、高速フーリエ変換を用いてノイズに強い性能を発揮する、$ψ$-PDE手法を提案する。この手法は、高ノイズ（最大50%）のデータから偏微分方程式（PDE）を発見するためのロバストなデータ駆動型アプローチであり、最小限のハイパーパrameterチューニングで正確なPDE発見を実現する。Navier-Stokes方程式を含む代表的なPDEを、極端なノイズレベル下でも正しく特定できる。

ABSTRACT

Robust physics (e.g., governing equations and laws) discovery is of great interest for many engineering fields and explainable machine learning. A critical challenge compared with general training is that the term and format of governing equations is not known as a prior. In addition, significant measurement noise and complex algorithm hyperparameter tuning usually reduces the robustness of existing methods. A robust data-driven method is proposed in this study for identifying the governing Partial Differential Equations (PDEs) of a given system from noisy data. The proposed method is based on the concept of Progressive Sparse Identification of PDEs (PSI-PDE or $ψ$-PDE). Special focus is on the handling of data with huge uncertainties (e.g., 50$\%$ noise level). Neural Network modeling and fast Fourier transform (FFT) are implemented to reduce the influence of noise in sparse regression. Following this, candidate terms from the prescribed library are progressively selected and added to the learned PDEs, which automatically promotes parsimony with respect to the number of terms in PDEs as well as their complexity. Next, the significance of each learned terms is further evaluated and the coefficients of PDE terms are optimized by minimizing the L2 residuals. Results of numerical case studies indicate that the governing PDEs of many canonical dynamical systems can be correctly identified using the proposed $ψ$-PDE method with highly noisy data. One great benefit of proposed algorithm is that it avoids complex algorithm modification and hyperparameter tuning in most existing methods. Limitations of the proposed method and major findings are presented.

研究の動機と目的

• データに高い不確実性とノイズが含まれる状況下で、方程式の形に関する事前知識が欠如している場合に、支配的PDEを発見する課題に対処すること。
• 既存のスパース回帰手法がハイパーパrameterチューニングに依存することで安定性が損なわれるのを防ぐために、PDE発見のロバスト性を向上させること。
• 従来の手法がノイズや正則化パラメータに敏感であるため、測定ノイズが最大50%に達するようなシステムにおいても、PDEの正確な同定を可能にすること。
• 真の物理的法則に高い忠実度を保ちつつ、PDE構造の単純性（パラメータ数の最小化）を促進する手法を開発すること。
• PDEの数値解法と残差最小化を用いて候補PDEモデルを評価・最適化し、単一解の同定を越えてモデルの代表性を高めること。

提案手法

• 本手法は、逐次的に候補項を事前に定義されたライブラリから選択し、進化するPDEモデルに追加する、偏微分方程式の段階的スパース同定（PSI-PDE または $ψ$-PDE）を採用する。
• 時間系列データのノイズ低減および高ノイズ下での空間的・時間的微分の精度向上のために、ニューラルネットワークと高速フーリエ変換（FFT）を用いる。
• 各段階でスパース回帰を適用し、最も関連性の高い項を同定する。スパarsityは、残差のL2ノルムを最小化しつつ項の数を最小化することで強制する。
• 各同定された項の有意性は、観測データとのPDE解の比較を通じて評価され、係数は残差最小化により最適化され、精度が向上する。
• ノイズデータにおける微小な係数変動に敏感になるのを避けるために、ハードスレッショルドを用いない段階的選択戦略を採用する。
• 複数の候補PDEが生成され、それらを数値的に解き、真のデータと比較することで評価され、最も物理的に代表的なモデルが選択される。

実験結果

リサーチクエスチョン

• RQ1 データに最大50%のノイズが含まれる状況下でも、データ駆動型手法が動的システムの正しい支配的PDEを発見できるか？
• RQ2 $ψ$-PDE手法は、広範なハイパーパrameterチューニングを要せず、さまざまなノイズレベルにおいてもロバスト性を維持できるか？
• RQ3 ニューラルネットワークとFFTの使用が、ノイズのあるデータにおける微分推定およびPDE同定にどの程度寄与するか？
• RQ4 候補PDEの段階的選択と評価は、単一解のスパース回帰に比べて、モデルの代表性をどの程度向上させるか？
• RQ5 係数最適化とPDEの数値解法の影響は、高ノイズ下での発見されたPDEの最終的精度にどのような影響を及えるか？

主な発見

• $ψ$-PDE手法は、50%のノイズ下でも2次元Navier-Stokes方程式の正しいPDE形式を同定でき、移流項の係数が真値からわずか14%のずれにとどまる。
• 20%のノイズ下では、学習されたPDEの解は真の解とほとんど区別がつかないほど高精度であることが確認された。
• 本手法は、50%のノイズ下を含め、全テストノイズレベルでNavier-Stokes系の完全なPDE構造（圧力項および粘性項を含む）を正しく回復した。
• 本手法は、最小限のハイパーパrameterチューニングで安定的かつ正確なPDE発見を実現し、正則化やスレッショルドパラメータに極めて敏感な従来手法を上回った。
• ニューラルネットワークとFFTの使用により、微分推定におけるノイズの影響が顕著に低減され、高ノイズ領域でも信頼性のあるスパース回帰が可能になった。
• 候補モデルの段階的選択と評価により、項数や構造に関する事前の仮定なしに、最も物理的に代表的なPDEを同定できるロバスト性が向上した。