[论文解读] Deep Gaussian Process Emulation using Stochastic Imputation

Deyu Ming, Daniel Williamson+1 more|arXiv (Cornell University)|Jul 4, 2021

Gaussian Processes and Bayesian Inference参考文献 31被引用 4

一句话总结

本文提出随机插补（Stochastic Imputation, SI），一种用于深度高斯过程（Deep Gaussian Process, DGP）模拟的新推理方法，通过随机插补潜在层将DGP转化为关联高斯过程（linked Gaussian processes）。该方法实现了基于优化的高效训练，并利用闭式预测分布实现解析可计算的预测，其在准确性、不确定性量化和计算效率方面表现与双重随机变分推理及全贝叶斯方法相当。

ABSTRACT

Deep Gaussian processes (DGPs) provide a rich class of models that can better represent functions with varying regimes or sharp changes, compared to conventional GPs. In this work, we propose a novel inference method for DGPs for computer model emulation. By stochastically imputing the latent layers, our approach transforms a DGP into a linked GP: a novel emulator developed for systems of linked computer models. This transformation permits an efficient DGP training procedure that only involves optimizations of conventional GPs. In addition, predictions from DGP emulators can be made in a fast and analytically tractable manner by naturally utilizing the closed form predictive means and variances of linked GP emulators. We demonstrate the method in a series of synthetic examples and empirical applications, and show that it is a competitive candidate for DGP surrogate inference, combining efficiency that is comparable to doubly stochastic variational inference and uncertainty quantification that is comparable to the fully-Bayesian approach. A $ exttt{Python}$ package $ exttt{dgpsi}$ implementing the method is also produced and available at https://github.com/mingdeyu/DGP.

研究动机与目标

• 解决计算机模型中深度高斯过程（DGP）模拟面临的计算与推断挑战。
• 在基于优化的方法（如DSVI）的速度与全贝叶斯MCMC方法的不确定性量化精度之间取得平衡。
• 通过潜在层插补将DGP重新表述为关联GP，实现高效且解析可计算的DGP预测。
• 支持灵活的DGP架构，包括输入连接结构，以提升模拟性能。
• 开发一种通用且可扩展的推理框架，适用于多保真度、多输出及混合模拟场景。

提出的方法

• 使用椭圆切片采样（Elliptical Slice Sampling, ESS）随机插补DGP的潜在层，将DGP转化为关联GP。
• 将DGP训练重述为一系列常规GP优化问题，通过标准GP求解器实现高效推理。
• 利用关联GP的闭式预测均值与方差，实现快速、解析的DGP预测。
• 应用随机期望最大化（Stochastic Expectation Maximization, SEM）框架，迭代优化潜在层插补与超参数。
• 通过关联GP表述支持通用DGP层次结构，包括非轴对齐及输入连接结构。
• 通过开源Python包dgpsi与现有GP库集成，支持在多样化模拟任务中的部署。

实验结果

研究问题

• RQ1 在DGP中对潜在层进行随机插补，是否能在保持不确定性量化精度的同时实现高效、基于优化的训练？
• RQ2 SI方法在预测准确性与计算成本方面，与DSVI和全贝叶斯推理等最先进方法相比表现如何？
• RQ3 在SI框架下，将输入连接结构引入DGP层次结构在多大程度上提升了模拟性能？
• RQ4 DGP的关联GP重表述是否支持比现有DGP推理方法更广泛的核函数与层次结构？
• RQ5 SI方法在多保真度与多输出系统等多样化模拟场景中是否具备可扩展性与通用性？

主要发现

• SI方法在合成与实际示例中实现了与全贝叶斯推理相当的预测准确性，计算效率接近DSVI，且NRMSEP更低。
• 采用输入连接结构的三层DGP模拟器经SI训练后，在准确性、不确定性量化与计算时间之间实现了更优平衡。
• SI模拟器在输入空间中表现出良好的预测标准差，尤其在Heston PDE等复杂问题（如期权希腊值计算）中表现突出。
• 该方法通过关联GP理论推导出的闭式表达式实现了解析可计算的预测，避免了昂贵的采样或近似计算。
• 实证结果表明，使用SI训练的两层或三层DGP模拟器在层数量增加时，仍能实现准确性与计算成本之间的最优权衡。
• 开源dgpsi包支持SI在多样化模拟任务中的部署，包括通过增加似然层扩展至随机模型。