[论文解读] Learning and Meta-Learning of Stochastic Advection-Diffusion-Reaction Systems from Sparse Measurements

Xiaoli Chen, Jinqiao Duan+1 more|arXiv (Cornell University)|Oct 21, 2019

Model Reduction and Neural Networks参考文献 17被引用 10

一句话总结

该论文提出了一种结合多保真度数据与贝叶斯优化的物理信息神经网络（sPINN）框架，用于从稀疏、噪声较大的测量数据中求解随机对流-扩散-反应（ADR）系统中的反问题。该方法结合了Karhunen-Loève展开与任意多项式混沌展开，以建模随机扩散系数与解场，通过贝叶斯优化获得元学习超参数，实现了对确定性参数的<1%误差与对随机场的亚0.1%误差。

ABSTRACT

Physics-informed neural networks (PINNs) were recently proposed in [1] as an alternative way to solve partial differential equations (PDEs). A neural network (NN) represents the solution while a PDE-induced NN is coupled to the solution NN, and all differential operators are treated using automatic differentiation. Here, we first employ the standard PINN and a stochastic version, sPINN, to solve forward and inverse problems governed by a nonlinear advection-diffusion-reaction (ADR) equation, assuming we have some sparse measurements of the concentration field at random or pre-selected locations. Subsequently, we attempt to optimize the hyper-parameters of sPINN by using the Bayesian optimization method (meta-learning), and compare the results with the empirically selected hyper-parameters of sPINN.

研究动机与目标

• 解决在浓度场与扩散系数场存在有限、稀疏且多保真度测量条件下的随机非线性ADR系统中的反问题。
• 开发一种复合神经网络架构，通过谱展开联合学习确定性参数（速度、反应常数）与随机场（扩散系数、浓度）。
• 通过贝叶斯优化实现sPINN架构的自动超参数调优，替代人工调优，以提升泛化能力与精度。
• 在数据稀疏与保真度可变的条件下，评估sPINN框架在确定性与随机反问题中的性能表现。
• 展示将物理信息神经网络与不确定性量化技术相结合，用于复杂PDE基反问题的可行性与鲁棒性。

提出的方法

• 采用物理信息神经网络（PINN）及其随机变体（sPINN）求解由非线性ADR方程控制的正向与反向问题，利用自动微分实现PDE的强制满足。
• 使用复合多保真度神经网络融合高保真度与低保真度数据，学习不同数据源之间的相关性，以提升未知参数与场的重构质量。
• 应用Karhunen-Loève（KL）展开表示随机扩散系数场，采用任意多项式混沌（aPC）表示随机解场，实现不确定性的模态分解。
• 为KL与aPC展开的均值及各模态分别训练独立的神经网络，实现随机分量的并行学习，同时保持物理约束。
• 将贝叶斯优化作为元学习策略，自动调优sPINN的五个关键超参数（宽度、深度、学习率），相比人工调优显著提升性能。
• 使用2,000个样本的准蒙特卡罗采样进行训练，10,000个样本用于参考解，以确保不确定性量化过程的收敛性与准确性。

实验结果

研究问题

• RQ1 结合多保真度数据与谱随机展开的sPINN能否从稀疏测量中准确重构随机扩散系数与浓度场？
• RQ2 在随机反问题中，与人工调优相比，贝叶斯优化在sPINN超参数调优中的精度与收敛性表现如何？
• RQ3 复合多保真度网络在多大程度上可提升未知确定性参数（速度、反应常数）与随机场的恢复能力？
• RQ4 架构选择（深度、宽度、学习率）对sPINN在高维、非线性随机PDE中精度的影响如何？
• RQ5 所提出的框架能否在数据极少的情况下实现高保真度的不确定性量化，同时保持物理一致性？

主要发现

• 当采用贝叶斯优化调优的超参数时，sPINN框架在恢复三个确定性参数（输运速度与两个反应常数）时误差低于1%。
• 随机浓度与扩散系数场的均值与方差预测精度优于三位有效数字，误差低于0.1%。
• 贝叶斯优化识别出显著更深、更宽的最优神经网络结构（解场模态的深度为10，宽度为113），相比人工调优配置，显著提升了精度。
• 多保真度数据的使用提升了解场与参数场的泛化能力与重构质量，尤其在高保真度数据有限时表现更优。
• 准蒙特卡罗方法相比标准蒙特卡罗收敛更快，使得10,000个样本即可生成可靠的参考解用于验证。
• 本研究首次成功将元学习（贝叶斯优化）应用于复合神经网络在PINNs中的超参数调优，解决了多物理场、多保真度、随机PDE反问题的挑战。