[论文解读] Multi-fidelity modeling with different input domain definitions using Deep Gaussian Processes

Ali Hebbal, Loïc Brevault+3 more|arXiv (Cornell University)|Jun 29, 2020

Probabilistic and Robust Engineering Design参考文献 57被引用 47

一句话总结

论文将多保真深高斯过程（MF-DGP）扩展为在不同保真度间处理输入空间差异，通过在MF-DGP中嵌入非参数贝叶斯输入映射（MF-DGP-EM），实现联合优化和不确定性量化。它在分析和物理问题上相比标准MF-DGP和空间映射方法，展示了更高的预测精度和对不确定性的处理能力。

ABSTRACT

Multi-fidelity approaches combine different models built on a scarce but accurate data-set (high-fidelity data-set), and a large but approximate one (low-fidelity data-set) in order to improve the prediction accuracy. Gaussian Processes (GPs) are one of the popular approaches to exhibit the correlations between these different fidelity levels. Deep Gaussian Processes (DGPs) that are functional compositions of GPs have also been adapted to multi-fidelity using the Multi-Fidelity Deep Gaussian process model (MF-DGP). This model increases the expressive power compared to GPs by considering non-linear correlations between fidelities within a Bayesian framework. However, these multi-fidelity methods consider only the case where the inputs of the different fidelity models are defined over the same domain of definition (e.g., same variables, same dimensions). However, due to simplification in the modeling of the low-fidelity, some variables may be omitted or a different parametrization may be used compared to the high-fidelity model. In this paper, Deep Gaussian Processes for multi-fidelity (MF-DGP) are extended to the case where a different parametrization is used for each fidelity. The performance of the proposed multifidelity modeling technique is assessed on analytical test cases and on structural and aerodynamic real physical problems.

研究动机与目标

• 激励并解决高保真（HF）和低保真（LF）模型可能具有不同输入参数化或维度的限制。
• 在非参数贝叶斯框架内开发 MF-DGP-EM，以联合学习输入空间映射和多保真关系。
• 在实现跨保真信息传递的同时，保持输入空间之间的相关性。
• 在分析性和真实物理问题（结构与气动）上评估该方法，并与现有方法进行比较。

提出的方法

• 将 MF-DGP-EM 表述为两级深度高斯过程，每一层对应一个保真度，层间存在一个在相邻输入空间之间的映射 GP。
• 引入在名义映射 HF 数据条件下的多输出输入映射 GP，将 HF 输入变换为 LF 输入。
• Incorporate the input mapping into the MF-DGP covariance via kl(x(i), x(j)) = kρ_l(x(i), x(j)) × kf−1_l(f∗−1_l(x(i)), f∗−1_l(x(j))) + kγ_l(x(i), x(j)).
• 在每层使用诱导输入并采用变分（双随机）ELBO 目标来训练模型。
• 对变分参数采用自然梯度步长，对超参数采用随机梯度步长；约束诱导输入以保持与上一层预测的依赖关系，如式(13)所示。
• 在新点进行预测：先通过第一层得到低保真投影，再通过第二层获得多保真预测。

实验结果

研究问题

• RQ1 如何扩展 MF-DGP 以处理在不同保真度之间存在的输入空间参数化差异？
• RQ2 在输入空间不同的情况下，将非参数贝叶斯输入映射嵌入到 MF-DGP 中，是否能提高预测准确性和不确定性量化？
• RQ3 与固定映射或标准 MF-DGP 相比，联合学习输入映射和 MF-DGP 对预测性能的影响如何？
• RQ4 相对于 MF-DGP 和空间映射基线，MF-DGP-EM 在分析性和实际结构/气动多保真问题中的表现如何？

主要发现

• 当保真度具有不同输入空间时，MF-DGP-EM 在预测与不确定性量化方面优于 MF-DGP（例如，在示例比较中 RMSE 0.077 对 0.255；MNLL −1.921 对 0.231）。
• MF-DGP-EM 方法在不同 HF 数据集规模下表现稳健，在多种设置中优于偏置修正和 GP-HF 基线。
• 在问题1的 HF 数据规模变化下，MF-DGP-EM 在 HF 数据点的分布上整体上优于 GP-HF 和 BC，在 RMSE 和 MNLL 上表现更好，表明对 DoE 变异具有鲁棒性。
• 在问题2中，随着 HF 数据规模的增加，MF-DGP-EM 通常改善 RMSE 和不确定性量化，在大多数情景中优于 BC 和 GP-HF。
• 该方法实现了对映射和 MF-DGP 模型的并行优化，利用非参数映射并保持原始输入空间中的相关性。