[论文解读] An adaptive surrogate modeling based on deep neural networks for large-scale Bayesian inverse problems

Liang Yan, Tao Tang|arXiv (Cornell University)|Nov 20, 2019

Probabilistic and Robust Engineering Design参考文献 37被引用 10

一句话总结

本文提出了一种用于大规模贝叶斯反问题的自适应多保真度深度神经网络（DNN）代理模型，其中基于先验的DNN通过少量高保真度模拟在线逐步优化。通过将先前的代理模型作为输入输入到一个新的浅层DNN中，该方法在仅使用极少高保真度评估的情况下实现了高精度的后验估计，显著降低了计算成本，同时保持了高精度。

ABSTRACT

In Bayesian inverse problems, surrogate models are often constructed to speed up the computational procedure, as the parameter-to-data map can be very expensive to evaluate. However, due to the curse of dimensionality and the nonlinear concentration of the posterior, traditional surrogate approaches (such us the polynomial-based surrogates) are still not feasible for large scale problems. To this end, we present in this work an adaptive multi-fidelity surrogate modeling framework based on deep neural networks (DNNs), motivated by the facts that the DNNs can potentially handle functions with limited regularity and are powerful tools for high dimensional approximations. More precisely, we first construct offline a DNNs-based surrogate according to the prior distribution, and then, this prior-based DNN-surrogate will be adaptively \& locally refined online using only a few high-fidelity simulations. In particular, in the refine procedure, we construct a new shallow neural network that view the previous constructed surrogate as an input variable -- yielding a composite multi-fidelity neural network approach. This makes the online computational procedure rather efficient. Numerical examples are presented to confirm that the proposed approach can obtain accurate posterior information with a limited number of forward simulations.

研究动机与目标

• 解决由于前向模型昂贵而导致大规模贝叶斯反问题计算成本过高的挑战。
• 克服传统多项式混沌展开（PCEs）在处理低正则性和高维问题时的局限性。
• 开发一种自适应的、局部优化的代理模型，专注于后验集中区域而非整个先验支持区域。
• 通过多保真度DNN优化最小化高保真度模型评估次数，实现实时高效推理。
• 为计算资源有限的复杂反问题提供一种可扩展、数据高效的代理建模框架。

提出的方法

• 使用100个样本的基于先验的训练集离线构建初始DNN代理模型，以近似前向模型。
• 采用多保真度DNN架构，在在线优化过程中将基于先验的DNN输出作为新浅层DNN的输入。
• 在后验可能区域自适应选择50个新高保真度样本，用于训练校正网络，确保局部精度。
• 应用Tikhonov正则化，λ = 10⁻⁶，以稳定校正DNN的训练并防止过拟合。
• 通过结合低保真度DNN预测与高保真度校正结果，迭代优化代理模型，形成复合模型。
• 将优化后的代理模型用于MCMC采样，以降低计算成本，计算后验期望。

实验结果

研究问题

• RQ1 基于DNN的代理模型是否能在高维贝叶斯反问题中，仅使用有限的高保真度评估，实现准确的后验近似？
• RQ2 多保真度DNN优化策略在准确性和效率方面是否优于全局基于先验的DNN代理模型？
• RQ3 代理模型的自适应、局部优化是否能减少可靠推理所需的高保真度模拟次数？
• RQ4 与直接MCMC相比，所提方法在计算成本和后验精度方面表现如何？
• RQ5 复合DNN架构对低正则性和高维前向模型是否具有鲁棒性？

主要发现

• 自适应DNN代理模型（ADNN）在仅使用950次高保真度评估的情况下，后验均值和标准差估计与直接MCMC几乎无法区分。
• ADNN方法将总计算时间减少至115.7秒，而直接MCMC使用50,000次高保真度评估时耗时5507.5秒。
• 基于先验的DNN在100个训练点下产生了较差的后验估计，凸显了自适应优化的必要性。
• ADNN代理模型的在线评估仅需88.9秒，尽管经过自适应优化，仍表现出极高的效率。
• 该方法在极少高保真度评估下保持了高精度，与直接MCMC相比，所需模拟次数减少了98%以上。
• 复合多保真度DNN结构有效捕捉了后验集中区域，在准确性和计算成本方面均优于全局代理方法。