[论文解读] Bayesian data-driven discovery of partial differential equations with variable coefficients

Aoxue Chen, Yifan Du+2 more|arXiv (Cornell University)|Feb 2, 2021

Model Reduction and Neural Networks被引用 6

一句话总结

该论文提出了一种基于贝叶斯组套索（Bayesian group Lasso）与尖刺和泥浆先验（spike and slab priors）的鲁棒贝叶斯稀疏学习算法，用于发现具有时间或空间依赖系数的偏微分方程（PDEs）。通过使用吉布斯抽样从后验分布中采样，该方法量化了系数估计的不确定性，从而实现基于误差棒的自适应阈值设定与模型选择，在噪声环境下优于非贝叶斯方法，并通过噪声滤波预处理提升了PDE发现的准确性。

ABSTRACT

The discovery of Partial Differential Equations (PDEs) is an essential task for applied science and engineering. However, data-driven discovery of PDEs is generally challenging, primarily stemming from the sensitivity of the discovered equation to noise and the complexities of model selection. In this work, we propose an advanced Bayesian sparse learning algorithm for PDE discovery with variable coefficients, predominantly when the coefficients are spatially or temporally dependent. Specifically, we apply threshold Bayesian group Lasso regression with a spike-and-slab prior (tBGL-SS) and leverage a Gibbs sampler for Bayesian posterior estimation of PDE coefficients. This approach not only enhances the robustness of point estimation with valid uncertainty quantification but also relaxes the computational burden from Bayesian inference through the integration of coefficient thresholds as an approximate MCMC method. Moreover, from the quantified uncertainties, we propose a Bayesian total error bar criteria for model selection, which outperforms classic metrics including the root mean square and the Akaike information criterion. The capability of this method is illustrated by the discovery of several classical benchmark PDEs with spatially or temporally varying coefficients from solution data obtained from the reference simulations. In the experiments, we show that the tBGL-SS method is more robust than the baseline methods under noisy environments and provides better model selection criteria along the regularization path.

研究动机与目标

• 开发一种从噪声数据中发现具有时间或空间变化系数的PDE的鲁棒方法。
• 通过贝叶斯推断实现对可变系数的不确定性量化，提供标准误和置信区间。
• 利用基于不确定性的准则（如总误差棒和组误差棒）改进模型选择与阈值设定。
• 通过整合噪声滤波技术（如Savitzky-Golay、Butterworth、移动平均）提升高噪声场景下的鲁棒性。
• 在噪声和复杂数据环境下，优于现有方法（如顺序分组阈值岭回归和组套索）

提出的方法

• 该方法采用贝叶斯组套索结合尖刺和泥浆先验以实现组稀疏性，允许对无关项进行精确的零估计。
• 应用受SGTR和阈值稀疏贝叶斯回归启发的顺序阈值化机制，以在大规模数据场景下加速收敛。
• 通过吉布斯采样进行后验抽样，实现对系数分布、标准误和可信区间的估计。
• 提出了三种新准则——均方根误差、总误差棒和组误差棒，用于自适应阈值选择与模型评估。
• 在学习前应用噪声减少滤波器（移动平均、Savitzky-Golay、Butterworth）以减轻噪声影响。
• 该框架将每个变量系数视为一组特征，支持组级稀疏性，从而提升对动态PDE结构的识别能力。

实验结果

研究问题

• RQ1 贝叶斯稀疏学习结合尖刺和泥浆先验是否能有效发现具有时间或空间变化系数的PDE，同时实现不确定性量化？
• RQ2 通过后验抽样实现的不确定性量化，相较于非贝叶斯方法，如何改善阈值选择与模型选择？
• RQ3 噪声滤波器的集成是否能显著提升高噪声条件下PDE发现的鲁棒性？
• RQ4 组误差棒准则是否能比传统均方根或总误差棒阈值更有效地识别正确项？
• RQ5 在不同噪声水平和数据复杂度下，所提出方法与SGTR和组套索相比性能如何？

主要发现

• 使用移动平均滤波时，该方法的系数均方误差（MSE）达到 $ 7.361 \times 10^{-5} $，显著低于未滤波情况下的 $ 0.04244 $ MSE。
• 采用Savitzky-Golay滤波后，系数MSE降至 $ 7.363 \times 10^{-5} $，表明信号跟踪和噪声减少效果更优。
• 使用截止频率为0.0725的Butterworth滤波器时，MSE降至最低值 $ 7.435 \times 10^{-6} $，进一步验证了预处理的有效性。
• 贝叶斯方法提供了可靠的不确定性估计，支持自适应阈值化，在噪声环境中优于非贝叶斯方法。
• 在高噪声条件下，该方法性能优于SGTR，并在识别正确PDE结构方面与或超过组套索。
• 组误差棒准则在其他阈值方法失效的情况下，成功识别出正确项，证明其在模型选择中的附加价值。