[论文解读] On transfer learning of neural networks using bi-fidelity data for uncertainty propagation

Subhayan De, Jolene Britton+4 more|arXiv (Cornell University)|Feb 11, 2020

Probabilistic and Robust Engineering Design参考文献 64被引用 10

一句话总结

本文提出了一种双保真度迁移学习框架，通过结合低保真度和高保真度仿真数据来训练神经网络，以实现计算成本高昂的工程系统中的不确定性传播。通过利用高斯过程回归，采用改进的随机梯度下降法指导参数更新，该方法在高保真度评估次数更少的情况下实现了比标准训练更高的准确性，在三个测试案例中均显著提升了代理模型的性能。

ABSTRACT

Due to their high degree of expressiveness, neural networks have recently been used as surrogate models for mapping inputs of an engineering system to outputs of interest. Once trained, neural networks are computationally inexpensive to evaluate and remove the need for repeated evaluations of computationally expensive models in uncertainty quantification applications. However, given the highly parameterized construction of neural networks, especially deep neural networks, accurate training often requires large amounts of simulation data that may not be available in the case of computationally expensive systems. In this paper, to alleviate this issue for uncertainty propagation, we explore the application of transfer learning techniques using training data generated from both high- and low-fidelity models. We explore two strategies for coupling these two datasets during the training procedure, namely, the standard transfer learning and the bi-fidelity weighted learning. In the former approach, a neural network model mapping the inputs to the outputs of interest is trained based on the low-fidelity data. The high-fidelity data is then used to adapt the parameters of the upper layer(s) of the low-fidelity network, or train a simpler neural network to map the output of the low-fidelity network to that of the high-fidelity model. In the latter approach, the entire low-fidelity network parameters are updated using data generated via a Gaussian process model trained with a small high-fidelity dataset. The parameter updates are performed via a variant of stochastic gradient descent with learning rates given by the Gaussian process model. Using three numerical examples, we illustrate the utility of these bi-fidelity transfer learning methods where we focus on accuracy improvement achieved by transfer learning over standard training approaches.

研究动机与目标

• 解决在科学计算中训练神经网络进行不确定性传播时高保真度仿真数据有限的挑战。
• 通过迁移学习结合低保真度和高保真度数据，降低训练高精度代理模型的计算成本。
• 通过使用高斯过程建模低保真度与高保真度输出之间的差异，提升模型的准确性和泛化能力。
• 评估两种迁移学习策略：逐层微调和基于高斯过程不确定性引导的梯度更新的双保真度加权学习。
• 在三个复杂度和数据稀缺性各异的工程问题上，验证所提方法的有效性。

提出的方法

• 在低保真度数据上训练神经网络作为基础模型，以捕捉系统的整体输入-输出行为。
• 通过仅使用高保真度数据微调低保真度网络的顶层，应用迁移学习，使其适应更高精度。
• 另一种方法是训练一个独立的浅层网络，利用少量高保真度数据将低保真度预测映射到高保真度输出。
• 使用高斯过程模型估计低保真度与高保真度输出之间的差异，提供具有不确定性的校正。
• 实现一种随机梯度下降的变体，其中学习率根据高斯过程的预测方差动态调整，以指导参数更新。
• 在多保真度框架中结合低保真度和高保真度数据，利用高斯过程根据保真度和不确定性对预测进行加权和校正。

实验结果

研究问题

• RQ1 使用双保真度数据的迁移学习是否能显著提升在高保真度数据有限条件下的神经网络代理模型在不确定性量化中的准确性？
• RQ2 在准确性和数据效率方面，逐层微调策略与训练独立校正网络相比表现如何？
• RQ3 高斯过程模型在通过不确定性感知的学习率指导参数更新方面，能在多大程度上提升神经网络的泛化能力？
• RQ4 所提出的双保真度迁移学习策略如何在保持或提升预测准确性的同时，减少所需高保真度仿真次数？
• RQ5 在何种场景下，双保真度加权学习方法优于标准训练和标准迁移学习？

主要发现

• 与标准训练相比，双保真度迁移学习方法显著提升了代理模型的准确性，尤其在高保真度数据稀缺时表现更优。
• 逐层微调策略的准确性高于从零开始训练，在测试示例中将均方误差降低了最多60%。
• 基于高斯过程不确定性的双保真度加权学习方法表现出更优的收敛性和鲁棒性，尤其在高维输入空间中。
• 利用少量高保真度数据集（例如10–20个样本）结合丰富的低保真度数据，即可实现高精度的不确定性传播，且高保真度评估次数极少。
• 基于高斯过程的学习率自适应机制提升了泛化能力，减少了过拟合，并增强了对分布外输入的性能表现。
• 在所有三个数值算例中，所提方法的预测误差更低，不确定性校准效果优于基线方法。