[论文解读] Embarrassingly Parallel Inference for Gaussian Processes

Michael Minyi Zhang, Sinead A. Williamson|arXiv (Cornell University)|Feb 27, 2017

Gaussian Processes and Bayesian Inference参考文献 35被引用 8

一句话总结

本文提出了一种显而易见的并行推理算法 IS-MOE，用于高斯过程，通过在块对角协方差矩阵上进行重要性采样，实现可扩展的分布式计算。通过并行学习多个分区的高斯过程，并结合重要性权重，IS-MOE 在计算成本仅为全 GP 回归的几分之一的情况下，实现了与之相当的性能，尤其在非平稳函数和大规模数据集上表现优异。

ABSTRACT

Training Gaussian process-based models typically involves an $ O(N^3)$ computational bottleneck due to inverting the covariance matrix. Popular methods for overcoming this matrix inversion problem cannot adequately model all types of latent functions, and are often not parallelizable. However, judicious choice of model structure can ameliorate this problem. A mixture-of-experts model that uses a mixture of $K$ Gaussian processes offers modeling flexibility and opportunities for scalable inference. Our embarrassingly parallel algorithm combines low-dimensional matrix inversions with importance sampling to yield a flexible, scalable mixture-of-experts model that offers comparable performance to Gaussian process regression at a much lower computational cost.

研究动机与目标

• 解决大规模数据集下高斯过程推理中 O(N³) 的计算瓶颈问题。
• 开发一种可扩展且可并行化的推理方法，同时保持对非平稳函数的建模灵活性。
• 克服稀疏和局部 GP 方法的局限性，这些方法无法捕捉长程相关性或短程波动。
• 通过最小化全局通信量的分布式计算，实现在专家混合 GP 模型中的高效推理。
• 在大规模数据集上的回归和分类任务中展示具有竞争力的性能。

提出的方法

• IS-MOE 算法使用重要性采样对多个分区的高斯过程进行平均，每个分区具有块对角协方差矩阵。
• 通过输入空间上的基于位置的分布生成分区，以建模非平稳行为。
• 每个分区的 GP 独立并行训练，将矩阵求逆成本从 O(N³) 降低至 O(K·(N/K)³)。
• 基于小批量的随机近似进一步减小块大小，同时保持预测性能。
• 重要性权重以分布式方式计算，仅需一次全局聚合步骤来组合样本。
• 最终的后验预测分布通过结合带重要性权重的样本，生成比任何单一的块对角矩阵都更具表现力的协方差结构。

实验结果

研究问题

• RQ1 我们能否在不牺牲对非平稳函数建模灵活性的前提下，实现高斯过程模型中可扩展的并行推理？
• RQ2 与标准变分推理相比，对分区 GP 进行重要性采样在预测准确性和计算效率方面表现如何？
• RQ3 我们能否通过块对角近似和并行化，将 GP 推理的 O(N³) 成本降低，同时保持高预测性能？
• RQ4 在大规模设置下，IS-MOE 是否在非平稳或复杂潜在函数上优于稀疏变分推理？
• RQ5 IS-MOE 与标准 GP 推理方法相比，其运行时间与预测质量之间的权衡如何？

主要发现

• IS-MOE 在回归任务中实现了与全 GP 回归相当的预测性能，在三个 UCI 数据集上的 AUC 和对数似然得分与全 GP 相差不超过 5%。
• 在包含一百万个训练样本的 Higgs-Boson 分类数据集上，IS-MOE 尽管训练耗时六分钟，但其预测对数似然和 AUC 均优于稀疏变分推理。
• 该方法在 J=100 个样本和 K=20 个分区下仍保持了良好的性能，证明了其在大规模数据集上的可扩展性。
• IS-MOE 在 AIRS 数据集上对多个 K 值均优于 SVI，表明其对分区选择具有鲁棒性。
• 该算法在百万点数据集上的运行时间为六分钟，证明了其在大规模数据应用中的实际可行性。
• 重要性采样方法避免了局部方法常见的边缘效应，并有效捕捉了长程和短程相关性。