[论文解读] Meaningful uncertainties from deep neural network surrogates of large-scale numerical simulations

Gemma J. Anderson, Jim Gaffney+4 more|arXiv (Cornell University)|Oct 26, 2020

Model Reduction and Neural Networks被引用 11

一句话总结

本文提出一种基于蒙特卡洛丢弃的变分推断方法，应用于基于深度自编码器的代理模型（MaCC），以生成大规模惯性约束聚变模拟中针对标量和图像输出的校准、可解释的贝叶斯不确定性。该方法在预测中保持了与物理相关的结构，并支持不确定性感知的主动学习，不确定性在训练数据稀疏区域显著增加。

ABSTRACT

Large-scale numerical simulations are used across many scientific disciplines to facilitate experimental development and provide insights into underlying physical processes, but they come with a significant computational cost. Deep neural networks (DNNs) can serve as highly-accurate surrogate models, with the capacity to handle diverse datatypes, offering tremendous speed-ups for prediction and many other downstream tasks. An important use-case for these surrogates is the comparison between simulations and experiments; prediction uncertainty estimates are crucial for making such comparisons meaningful, yet standard DNNs do not provide them. In this work we define the fundamental requirements for a DNN to be useful for scientific applications, and demonstrate a general variational inference approach to equip predictions of scalar and image data from a DNN surrogate model trained on inertial confinement fusion simulations with calibrated Bayesian uncertainties. Critically, these uncertainties are interpretable, meaningful and preserve physics-correlations in the predicted quantities.

研究动机与目标

• 解决大规模科学模拟的深度神经网络代理模型中缺乏可靠不确定性量化的问题。
• 开发一种方法，为标量和图像输出生成校准且可解释的不确定性，同时保持物理相关性。
• 通过识别因训练数据稀疏而导致预测不确定性高的区域，实现基于不确定性的主动学习。
• 确保不确定性估计在保留的验证数据上具有统计校准性，从而提升科学决策中对模型预测的信任度。

提出的方法

• 在惯性约束聚变模拟数据上训练基于深度自编码器的代理模型（MaCC），以在共享潜在空间中联合表示标量和图像输出。
• 在推理阶段应用蒙特卡洛丢弃，以近似贝叶斯后验分布，从而在不改变网络架构的情况下实现认知不确定性估计。
• 通过在保留的验证集上使用校准准则，对丢弃的超参数进行调优，以确保不确定性估计具有统计可靠性。
• 使用可靠性图和覆盖度量评估不确定性校准性，确保预测区间以名义率（例如，95%的区间包含真实值约95%的时间）包含真实值。
• 通过在潜在空间中操作，保留图像预测中的物理相关性，其中多模态数据关系被编码。
• 通过在输入参数的训练范围内变化其中一个参数，展示了不确定性插值，显示在训练样本较少的区域不确定性增加。

实验结果

研究问题

• RQ1 大规模科学模拟的深度神经网络代理模型能否为标量和图像输出提供校准且可解释的不确定性估计？
• RQ2 在潜在空间中使用蒙特卡洛丢弃并进行超参数调优，是否能保留图像预测中具有物理解释意义的相关性？
• RQ3 代理模型的不确定性估计能否通过识别因训练数据稀疏而导致高不确定性的区域，来指导主动学习？
• RQ4 不确定性量化方法在不同输入配置下是否具有鲁棒性和可靠性，其表现是否可通过校准度量得到验证？

主要发现

• 配备不确定性的MaCC模型在验证集上产生校准的预测不确定性，95%的预测区间约95%的时间包含真实值。
• 预测的对数中子产额不确定性在训练样本较少的区域增加，标准差在稀疏采样区域（例如1.5–1.6）相比密集采样区域（例如1.0–1.1）大致翻倍。
• 通过学习共享潜在表示，该模型在图像输出中保持了物理相关性，确保不确定性估计反映有意义的空间结构。
• 该方法支持基于不确定性的主动学习，因为高不确定性区域对应于额外模拟最能提升模型准确性的区域。
• 该方法对现有DNN架构的修改极少，可适用于任何具有自编码器组件以处理多模态数据的模型。
• 基于潜在空间中校准的超参数调优，相比默认的丢弃设置，可获得更可靠的不确定性估计。