[论文解读] Deep Multi-Fidelity Active Learning of High-dimensional Outputs

Shibo Li, Robert M. Kirby+1 more|arXiv (Cornell University)|Dec 2, 2020

Machine Learning and Algorithms参考文献 70被引用 7

一句话总结

本文提出 DMFAL，一种用于高维输出的深度多保真度主动学习框架，通过联合选择最优保真度和输入查询以最大化学习效率。通过使用深度神经网络建模跨保真度相关性，并采用基于互信息的获取函数，结合可处理的矩匹配和 delta 方法近似，DMFAL 在计算流体动力学中实现相较于数值求解器高达 466 倍的加速，且在更低的查询成本下持续优于基线方法。

ABSTRACT

Many applications, such as in physical simulation and engineering design, demand we estimate functions with high-dimensional outputs. The training examples can be collected with different fidelities to allow a cost/accuracy trade-off. In this paper, we consider the active learning task that identifies both the fidelity and input to query new training examples so as to achieve the best benefit-cost ratio. To this end, we propose DMFAL, a Deep Multi-Fidelity Active Learning approach. We first develop a deep neural network-based multi-fidelity model for learning with high-dimensional outputs, which can flexibly, efficiently capture all kinds of complex relationships across the outputs and fidelities to improve prediction. We then propose a mutual information-based acquisition function that extends the predictive entropy principle. To overcome the computational challenges caused by large output dimensions, we use multi-variate Delta's method and moment-matching to estimate the output posterior, and Weinstein-Aronszajn identity to calculate and optimize the acquisition function. The computation is tractable, reliable and efficient. We show the advantage of our method in several applications of computational physics and engineering design.

研究动机与目标

• 为解决物理模拟和工程设计中高维输出函数训练数据生成的高昂成本问题。
• 开发一种主动学习框架，智能选择输入位置和保真度，以实现单位成本下的最大学习收益。
• 使用深度神经网络对多个保真度水平下的复杂高维输出相关性进行建模。
• 设计一种计算上可处理的获取函数，以考虑多保真度不确定性与信息增益。
• 尽管输出维度较大，仍能实现获取函数的高效可扩展优化。

提出的方法

• 一种具有链式保真度特异性网络的深度神经网络架构，将低维潜在表征映射到高维输出，实现跨保真度的信息流动。
• 一种基于互信息的获取函数，将预测熵扩展至多保真度设置，优先选择能最大程度提升对高保真度目标信息增益的查询。
• 使用多变量 delta 方法，对跨保真度的隐藏表征后验矩进行解析估计。
• 通过矩匹配，将潜在输出的联合后验分布近似为多元高斯分布，以实现可处理的不确定性估计。
• 应用 Weinstein-Aronszajn 恒等式，对高维输出投影的熵进行解析计算，从而实现获取函数的高效优化。
• 采用随机结构变分学习，联合估计潜在层中随机权重的超参数与后验分布。

实验结果

研究问题

• RQ1 深度多保真度模型能否有效捕捉高维输出与多个保真度层级之间的复杂相关性？
• RQ2 如何设计获取函数，以在高维输出设置下最优地选择输入与保真度进行主动学习？
• RQ3 能否通过解析近似而非蒙特卡洛采样，克服大输出维度带来的计算瓶颈？
• RQ4 与随机查询或基于 dropout 的基线方法相比，所提方法是否能在更低的总成本下实现显著更优的学习性能？
• RQ5 在真实物理与工程应用中，通过 DMFAL 训练的代理模型是否能实现相对于标准数值求解器的显著加速？

主要发现

• 在所有基准任务中，DMFAL 的 nRMSE 显著低于竞争方法，且在所有查询耗尽后性能仍持续提升。
• 在拓扑优化中，DMFAL 预测的结构与真实值更加接近，准确捕捉了整体形状与精细局部细节，而基线方法则产生模糊或错误的预测。
• 在计算流体动力学中，DMFAL 在预测速度场方面实现了相较于标准数值求解器高达 466 倍的加速，即使计入主动学习成本后依然成立。
• 该方法在达到给定精度水平时，所需高保真度模拟次数显著更少，证明了其在昂贵 CFD 应用中的卓越成本效率。
• 即使与最先进的非主动学习代理模型相比，DMFAL 的深度多保真度架构也始终表现更优，凸显了主动学习集成的价值。
• 基于互信息的获取函数在多保真度设置下优于 BALD 和预测方差适应方法，尤其在学习初期阶段表现更优。