[论文解读] Accelerated replica exchange stochastic gradient Langevin diffusion enhanced Bayesian DeepONet for solving noisy parametric PDEs

Guang Lin, Christian Moya+1 more|arXiv (Cornell University)|Nov 3, 2021

Model Reduction and Neural Networks参考文献 29被引用 14

一句话总结

该论文提出了一种结合加速副本交换随机梯度朗之万扩散（reSGLD）的贝叶斯DeepONet框架，以在求解含噪参数型PDE时提升训练收敛性和预测准确性。通过使用两个粒子——一个用于探索，一个用于利用——该方法在泛化能力和不确定性量化方面优于标准的Adam优化方法，同时加速训练制度将计算成本降低了多达25%而未牺牲性能。

ABSTRACT

The Deep Operator Networks~(DeepONet) is a fundamentally different class of neural networks that we train to approximate nonlinear operators, including the solution operator of parametric partial differential equations (PDE). DeepONets have shown remarkable approximation and generalization capabilities even when trained with relatively small datasets. However, the performance of DeepONets deteriorates when the training data is polluted with noise, a scenario that occurs very often in practice. To enable DeepONets training with noisy data, we propose using the Bayesian framework of replica-exchange Langevin diffusion. Such a framework uses two particles, one for exploring and another for exploiting the loss function landscape of DeepONets. We show that the proposed framework's exploration and exploitation capabilities enable (1) improved training convergence for DeepONets in noisy scenarios and (2) attaching an uncertainty estimate for the predicted solutions of parametric PDEs. In addition, we show that replica-exchange Langeving Diffusion (remarkably) also improves the DeepONet's mean prediction accuracy in noisy scenarios compared with vanilla DeepONets trained with state-of-the-art gradient-based optimization algorithms (e.g. Adam). To reduce the potentially high computational cost of replica, in this work, we propose an accelerated training framework for replica-exchange Langevin diffusion that exploits the neural network architecture of DeepONets to reduce its computational cost up to 25% without compromising the proposed framework's performance. Finally, we illustrate the effectiveness of the proposed Bayesian framework using a series of experiments on four parametric PDE problems.

研究动机与目标

• 为解决在参数型PDE生成的含噪数据上训练时DeepONet泛化能力差的问题。
• 开发一种贝叶斯框架，实现在含噪环境下DeepONet预测的不确定性量化。
• 与标准梯度优化器（如Adam）相比，提升在含噪场景下的训练收敛性和预测准确性。
• 通过引入加速训练制度，降低副本交换朗之万扩散的高计算成本。
• 在多个参数型PDE问题上验证框架，噪声水平逐步增加。

提出的方法

• 该框架采用副本交换随机梯度朗之万扩散（reSGLD），使用两个具有不同温度参数的粒子来探索和利用损失景观。
• 高温粒子用于探索以逃离局部极小值，低温粒子用于局部收敛，通过交换概率确保细致平衡。
• 提出一种加速的多方差reSGLD（m-reSGLD）框架，其中每次迭代仅更新DeepONet子网络（分支或主干）中的一个，从而降低计算成本。
• 该方法利用DeepONet的架构结构，实现对子网络的选择性训练，保持性能的同时提升效率。
• 贝叶斯框架支持后验抽样，用于估计参数型PDE预测解轨迹的不确定性。
• 训练过程包括一个预 burn-in 阶段，并使用随机梯度以实现大规模数据集的可扩展性。

实验结果

研究问题

• RQ1 副本交换朗之万扩散是否能提升在含噪训练数据下DeepONet的训练收敛性和预测准确性？
• RQ2 所提出的贝叶斯框架是否能为含噪参数型PDE问题中的DeepONet预测提供可靠的不确定性量化？
• RQ3 能否在不降低模型性能的前提下降低副本交换朗之万扩散的计算成本？
• RQ4 加速的m-reSGLD框架在准确性和效率方面与标准reSGLD和Adam相比表现如何？
• RQ5 在噪声水平逐步增加的情况下，所提出的框架在多大程度上保持或提升预测准确性？

主要发现

• 在噪声水平为∼N(0, 0.1²)的对流-扩散问题中，reSGLD和m-reSGLD的平均预测误差显著低于Adam，reSGLD的e₁ = 11.2455，e₂ = 11.9178，而Adam的e₁ = 21.5141，e₂ = 25.0701。
• 在低噪声场景下，m-reSGLD将每次迭代的平均计算时间降低至reSGLD的79.44%，在高噪声场景下降低至80.2%，实现最高达25%的成本降低。
• 在高噪声场景下，reSGLD和m-reSGLD均以100%的误差覆盖率（e₃ = 100%）将真实解轨迹包含在估计的置信区间内，而Adam未能调整不确定性估计。
• 在某些情况下，m-reSGLD框架的平均预测精度优于reSGLD，表明加速训练制度可提升性能。
• 所提出的框架在含噪环境下表现出更快的收敛速度和更强的鲁棒性，在准确性和不确定性估计方面均优于Adam。
• 加速的m-reSGLD框架在降低计算成本的同时保持或提升了预测性能，验证了其高效性和有效性。