[论文解读] Deep Multi-fidelity Gaussian Processes

Maziar Raissi, George Em Karniadakis|arXiv (Cornell University)|Apr 26, 2016

Gaussian Processes and Bayesian Inference参考文献 4被引用 53

一句话总结

本文提出了一种深度多保真度高斯过程框架，通过将深度神经网络与多保真度高斯过程相结合，以建模低保真度与高保真度系统之间不连续的、非函数性的交叉相关性。通过深度神经网络学习非线性特征变换，该方法突破了经典 AR(1) 共克里金法的局限，能够捕捉超越传统方法的复杂相关结构，在具有不连续关系的基准问题上表现出更优性能。

ABSTRACT

We develop a novel multi-fidelity framework that goes far beyond the classical AR(1) Co-kriging scheme of Kennedy and O'Hagan (2000). Our method can handle general discontinuous cross-correlations among systems with different levels of fidelity. A combination of multi-fidelity Gaussian Processes (AR(1) Co-kriging) and deep neural networks enables us to construct a method that is immune to discontinuities. We demonstrate the effectiveness of the new technology using standard benchmark problems designed to resemble the outputs of complicated high- and low-fidelity codes.

研究动机与目标

• 解决经典 AR(1) 共克里金法在建模低保真度与高保真度系统之间不连续、非函数性交叉相关性方面的局限性。
• 开发一种代理建模框架，高效利用丰富的低保真度数据与稀缺的高保真度数据，以提高预测精度。
• 在涉及昂贵、复杂且不连续系统的反问题中，实现精确的不确定性量化。
• 通过深度神经网络学习输入的非线性变换，将多保真度建模推广至非参数假设之外。

提出的方法

• 构建一个多元高斯过程先验，其中低保真度与高保真度输出的联合分布依赖于通过深度神经网络学习的非线性映射 $ h(x) $。
• 将高保真度输出建模为 $ f_2(h(x)) = \rho f_1(h(x)) + \delta_2(h(x)) $，其中 $ \delta_2 \sim \mathcal{GP}(0, k_2) $，通过允许 $ h(x) \neq x $ 扩展 AR(1) 共克里金模型。
• 使用深度神经网络 $ h(x) = (h^L \circ \cdots \circ h^1)(x) $ 学习一个非线性特征空间，使交叉相关性更加结构化且可学习。
• 通过联合优化所有超参数 $ \theta = [\rho, \theta_1, \theta_2, \theta_h] $（包括神经网络权重）实现端到端训练。
• 通过在联合高斯过程后验上进行边缘化实现预测，为两种保真度级别提供预测均值与方差。
• 证明该方法可通过学习非唯一但有效的非线性映射 $ h $ 捕捉相关结构中的不连续性。

实验结果

研究问题

• RQ1 与经典 AR(1) 共克里金法相比，深度神经网络是否能提升对低保真度与高保真度系统之间不连续、非函数性交叉相关性的建模能力？
• RQ2 所学习的非线性变换 $ h(x) $ 在捕捉多保真度数据中复杂且不连续的关系方面效率如何？
• RQ3 当高保真度数据稀缺时，所提出方法在反问题中多大程度上降低了预测误差？
• RQ4 将深度学习与高斯过程结合是否在提升非连续系统泛化能力的同时，仍能保持不确定性量化能力？

主要发现

• 在具有非光滑关系的合成基准问题中，所提方法在捕捉不连续交叉相关性方面显著优于 AR(1) 共克里金法。
• 深度神经网络学习到一个二维特征空间，能有效分离不连续区域，从而准确建模不同保真度之间的非函数依赖关系。
• 即使仅有 15 个高保真度观测值，该方法仍能实现准确的预测均值与不确定性估计，展现出优异的数据效率。
• 在不连续区域，深度多保真度高斯过程的预测不确定性边界比 AR(1) 共克里金法更紧致、更准确。
• 该模型成功捕捉了真实的底层不连续映射 $ h(x) $，尽管所学习的映射可能不唯一，表明对表示选择具有鲁棒性。
• 该方法在保持高斯过程贝叶斯不确定性量化能力的同时，扩展了其处理复杂、非光滑相关结构的能力。