[論文レビュー] Sparsely constrained neural networks for model discovery of PDEs

Gert‐Jan Both, Vermarien, Gijs+1 more|arXiv (Cornell University)|Nov 9, 2020

Model Reduction and Neural Networks参考文献 18被引用数 7

ひとこと要約

この論文は、ノイズが多いまたはスパarsなデータから元の偏微分方程式（PDE）を同定するためのモジュラーなフレームワークを提案する。深層ニューラルネットワークの代理モデルと高度なスパース回帰手法を組み合わせ、スパース性の推定をニューラルネットワークの学習とは分離し、PDE-find や Lasso などの任意のスパース回帰アルゴリズムに基づいて動的にマスクを適用することで、特に高ノイズまたは複雑な力学的状態の下でも、モデル同定の正確性、収束速度、耐障害性が向上する。

ABSTRACT

Sparse regression on a library of candidate features has developed as the prime method to discover the partial differential equation underlying a spatio-temporal data-set. These features consist of higher order derivatives, limiting model discovery to densely sampled data-sets with low noise. Neural network-based approaches circumvent this limit by constructing a surrogate model of the data, but have to date ignored advances in sparse regression algorithms. In this paper we present a modular framework that dynamically determines the sparsity pattern of a deep-learning based surrogate using any sparse regression technique. Using our new approach, we introduce a new constraint on the neural network and show how a different network architecture and sparsity estimator improve model discovery accuracy and convergence on several benchmark examples. Our framework is available at \url{https://github.com/PhIMaL/DeePyMoD}

研究の動機と目的

• PDE 同定のための古典的スパース回帰手法が、ノイズが多く、スパースにサンプリングされた時空間データを扱う際の限界を克服する。
• 最先端のスパース回帰アルゴリズムを統合することで、既存の深層学習ベースの PDE 同定手法の収束性と耐障害性の問題を解決する。
• スパース性推定プロセスをニューラルネットワークの学習から分離し、柔軟でモジュラーかつ拡張可能なモデル同定パイプラインを実現する。
• PDE-find や SR3 のような高度なスパース推定器を深層学習代理モデルフレームワーク内で活用可能にすることで、モデル同定性能を向上させる。
• アーキテクチャの選択（例：SIREN）と最適化戦略が、PDE 同定の正確性と収束速度に与える影響を実証する。

提案手法

• 自動微分を用いて導関数を正確に計算できるように、時空間データ分布を学習する深層ニューラルネットワークを代理モデルとして使用する。
• ニューラルネットワークの出力を用いて自動微分により候補となる PDE 項（例：u, ux, uxx）のライブラリを構築する。
• スパース性推定プロセスを分離し、PDE-find やしきい値付き Lasso などの非微分可能でスパース性を促進するアルゴリズムを動的に適用することで、PDE の有効な項を特定する。
• 現在有効な項によって定義される PDE を満たすよう、学習係数ベクトル ξ を用いて制約を学習中に課す。
• 関数近似器（例：SIREN と標準的な FFNN の間で交換可能）、スパース推定器（例：PDE-find と Lasso の間で交換可能）、最適化戦略（例：OLS と勾配ベース）を独立して置き換え可能にすることで、モularity を実現する。
• 2段階の学習プロセスを採用する：まず代理ネットワークを学習し、その後その出力を用いてスパース性のパターンを推定し、PDE 構造を反復的に最適化する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの代理モデルと高度なスパース回帰手法を組み合わせることで、ノイズが多くスパースなデータにおける PDE 同定の正確性が向上するか？
• RQ2 スパース性推定をニューラルネットワークの学習から分離することで、PDE モデル同定における収束速度と耐障害性が向上するか？
• RQ3 関数近似器の選択（例：SIREN と標準的な順方向ネットワーク）が、Kuramoto–Sivashinsky 方程式のような複雑な PDE を同定する能力に与える影響は何か？
• RQ4 PDE-find のような非微分可能なスパース推定器が、高ノイズ環境下で微分可能な手法（しきい値付き Lasso）を上回る性能を示すか？
• RQ5 制約最適化に通常最小二乗法（OLS）を用いることで、勾配ベースの手法と比較して収束がどの程度向上するか？

主な発見

• PDE-find スパース推定器は、最大 80% のノイズがある状況でも 80% 以上の試行で正しい Burgers' 方程式を同定できたが、しきい値付き Lasso は 40% のノイズで失敗した。
• 制約の最適化に勾配ベースの手法の代わりに通常最小二乗法（OLS）を用いることで、正確性を損なわずに収束が著しく高速化された。
• SIREN を用いたニューラルネットワークは、5% のノイズが混入した 25,000 点のデータセットからも、Kuramoto–Sivashinsky 方程式を完全に同定できたが、標準的な tanh を用いたネットワークは収束しなかった。
• モジュラーなフレームワークにより、SR3 のような高度なスパース推定器の利用が可能になり、RNN やグラフニューラルネットワークなどの新しいアーキテクチャのシームレスな統合が実現した。
• フレームワークは、アーキテクチャの選択（例：SIREN）と最適化戦略（例：OLS）が、複雑またはノイズの多い力学的状態における PDE 同定に極めて重要であることを示した。
• 代理ネットワークが完全に訓練されていなくても、その動的を十分に捉えており、正確な微分とライブラリ計算が可能であれば、このアプローチは耐障害性を保つ。