[論文レビュー] Bayesian data-driven discovery of partial differential equations with variable coefficients

Aoxue Chen, Yifan Du+2 more|arXiv (Cornell University)|Feb 2, 2021

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本稿では、スパイクアンドスラブ事前分布を用いたベイジアングループリッジ回帰を用いて、時変または空間変動係数を有する偏微分方程式（PDE）を同定する、耐障害性の高いベイジアンスパース学習手法を提案する。ギブスサンプリングを用いて事後分布からサンプリングすることで、係数推定値の不確実性を定量化し、誤差棒を用いた適応的しきい値設定とモデル選択を可能にし、ノイズが多い状況下でも非ベイジアン手法を上回る性能を発揮するとともに、事前ノイズフィルタリング処理によりPDE同定の正確性が向上する。

ABSTRACT

The discovery of Partial Differential Equations (PDEs) is an essential task for applied science and engineering. However, data-driven discovery of PDEs is generally challenging, primarily stemming from the sensitivity of the discovered equation to noise and the complexities of model selection. In this work, we propose an advanced Bayesian sparse learning algorithm for PDE discovery with variable coefficients, predominantly when the coefficients are spatially or temporally dependent. Specifically, we apply threshold Bayesian group Lasso regression with a spike-and-slab prior (tBGL-SS) and leverage a Gibbs sampler for Bayesian posterior estimation of PDE coefficients. This approach not only enhances the robustness of point estimation with valid uncertainty quantification but also relaxes the computational burden from Bayesian inference through the integration of coefficient thresholds as an approximate MCMC method. Moreover, from the quantified uncertainties, we propose a Bayesian total error bar criteria for model selection, which outperforms classic metrics including the root mean square and the Akaike information criterion. The capability of this method is illustrated by the discovery of several classical benchmark PDEs with spatially or temporally varying coefficients from solution data obtained from the reference simulations. In the experiments, we show that the tBGL-SS method is more robust than the baseline methods under noisy environments and provides better model selection criteria along the regularization path.

研究の動機と目的

• ノイズの強いデータから時変または空間的に変化する係数を有するPDEを同定する耐障害性の高い手法を開発すること。
• ベイジアン推論を用いて変動係数の不確実性を定量化し、標準誤差および信頼区間を提供すること。
• 合計誤差棒およびグループ誤差棒といった不確実性に基づく基準を用いて、モデル選択およびしきい値設定を改善すること。
• ノイズフィルタリング技術（例：Savitzky-Golay、バターワース、移動平均）を学習アルゴリズムに統合することで、高ノイズ環境下での耐障害性を向上させること。
• 順次グループ化しきい値リッジ回帰（SGTR）やグループリッジ回帰と比較して、ノイズが多く複雑なデータ環境下でも優れた性能を発揮すること。

提案手法

• 関連する項をグループ化するスパース性を強制するため、スパイクアンドスラブ事前分布を用いたベイジアングループリッジ回帰を採用し、不要な項に対して正確にゼロ推定を可能にする。
• 大規模データ環境下での収束を高速化するため、SGTRおよびしきい値スパースベイズ回帰にインspiredされた逐次しきい値処理を適用する。
• ギブスサンプラーによる事後分布のサンプリングにより、係数の分布推定、標準誤差、信用区間の算出が可能になる。
• 根平均二乗誤差、合計誤差棒、グループ誤差棒という3つの新規基準を導入し、適応的しきい値選択およびモデル評価に用いる。
• 学習の前処理として、移動平均、Savitzky-Golay、バターワースフィルタを適用し、ノイズの影響を軽減する。
• 各変数係数を特徴量のグループとして扱うことで、グループ単位のスパース性を実現し、動的PDE構造の識別性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 スパイクアンドスラブ事前分布を用いたベイジアンスパース学習は、時変または空間的に変動する係数を有するPDEを効果的に同定可能であり、不確実性を定量化できるか？
• RQ2 事後分布からのサンプリングによる不確実性定量化は、非ベイジアン手法と比較して、しきい値設定およびモデル選択をどのように改善するか？
• RQ3 ノイズフィルタの統合が、高ノイズ条件下でのPDE同定の耐障害性を顕著に向上させられるか？
• RQ4 グループ誤差棒基準は、従来の根平均二乗誤差や合計誤差棒しきい値と比較して、正しい項の同定をより効果的に行えるか？
• RQ5 さまざまなノイズレベルおよびデータの複雑さ下で、本手法はSGTRおよびグループリッジ回帰と比較して、性能に優れているか？

主な発見

• 移動平均フィルタを用いた場合、係数のMSEは $ 7.361 \times 10^{-5} $ にまで低下し、フィルタなしの $ 0.04244 $ と比べて顕著に低減した。
• Savitzky-Golayフィルタを用いた場合、係数のMSEは $ 7.363 \times 10^{-5} $ にまで低下し、信号追従性とノイズ低減効果が向上したことが示された。
• 臨界周波数 0.0725 のバターワースフィルタを用いた場合、MSEは最小の $ 7.435 \times 10^{-6} $ にまで低下し、前処理の有効性がさらに裏付けられた。
• ベイジアンアプローチにより信頼性の高い不確実性推定が得られ、非ベイジアン手法に比べて優れた適応的しきい値設定が可能になった。
• 高ノイズ条件下でも、本手法はSGTRを上回り、グループリッジ回帰と同等またはそれ以上のPDE構造の正しく同定する性能を維持した。
• グループ誤差棒基準により、他のしきい値処理手法が失敗した状況でも、正しい項の同定に成功した。これは、モデル選択におけるこの基準の追加的価値を示している。