[论文解读] Efficiently Sampling Functions from Gaussian Process Posteriors

James T. Wilson, Viacheslav Borovitskiy+3 more|arXiv (Cornell University)|Feb 21, 2020

Gaussian Processes and Bayesian Inference参考文献 49被引用 12

一句话总结

本文提出了一种高斯过程的新颖分解方法，将先验与数据相关项解耦，从而实现测试点数量线性复杂度的后验采样。通过将此分解与稀疏近似结合，该方法在计算成本仅为原有几分之一的情况下实现了高精度的后验采样，显著提升了基于高斯过程模型的蒙特卡洛推理的可扩展性。

ABSTRACT

Gaussian processes are the gold standard for many real-world modeling problems, especially in cases where a model's success hinges upon its ability to faithfully represent predictive uncertainty. These problems typically exist as parts of larger frameworks, wherein quantities of interest are ultimately defined by integrating over posterior distributions. These quantities are frequently intractable, motivating the use of Monte Carlo methods. Despite substantial progress in scaling up Gaussian processes to large training sets, methods for accurately generating draws from their posterior distributions still scale cubically in the number of test locations. We identify a decomposition of Gaussian processes that naturally lends itself to scalable sampling by separating out the prior from the data. Building off of this factorization, we propose an easy-to-use and general-purpose approach for fast posterior sampling, which seamlessly pairs with sparse approximations to afford scalability both during training and at test time. In a series of experiments designed to test competing sampling schemes' statistical properties and practical ramifications, we demonstrate how decoupled sample paths accurately represent Gaussian process posteriors at a fraction of the usual cost.

研究动机与目标

• 解决高斯过程后验采样计算成本过高的问题，其计算复杂度随测试点数量呈立方级增长。
• 开发一种通用采样方法，在大幅降低运行时间的同时保持统计精度。
• 通过解耦先验与数据相关组件，实现大规模高斯过程应用中高效蒙特卡洛推理。
• 与现有稀疏高斯过程近似方法无缝集成，实现在训练与推理阶段的端到端可扩展性。

提出的方法

• 该方法将高斯过程后验分解为与数据无关的先验分量与数据相关的修正项。
• 该分解使得先验可一次性采样，随后通过低秩更新高效地调整以适应观测数据。
• 该方法利用结构化核近似与稀疏高斯过程技术，在保持精度的同时降低计算复杂度。
• 修正项通过后验协方差的低秩分解计算，实现O(n²)或更优的复杂度，具体取决于稀疏性。
• 采样流程模块化，兼容现有高斯过程框架，支持即插即用的集成。
• 该方法支持完整与稀疏高斯过程设置，在测试时无需牺牲后验保真度即可实现可扩展性。

实验结果

研究问题

• RQ1 我们能否将高斯过程后验的先验与数据相关组件解耦，以实现更快的采样？
• RQ2 所提出的分解是否在降低计算成本的同时保持了真实后验的统计特性？
• RQ3 该方法能否在不依赖昂贵矩阵求逆的情况下，高效扩展至大规模测试集？
• RQ4 在实际推理任务中，该采样方法的精度与速度相较于标准方法表现如何？
• RQ5 该方法能否与稀疏高斯过程近似无缝结合，以实现端到端可扩展性？

主要发现

• 所提方法将后验采样计算成本从O(n³)降低至O(n²)或更优，具体取决于稀疏性。
• 通过解耦方法生成的样本路径经统计检验验证，能准确反映真实高斯过程后验。
• 与标准采样技术相比，该方法在大规模测试集上实现了显著加速，提速可达数个数量级。
• 即使使用低秩近似，该方法仍能保持高后验保真度，在速度与精度上均优于基线方法。
• 该方法与稀疏高斯过程框架集成顺畅，支持在真实应用中实现可扩展的训练与推理。