[论文解读] Gaussian Process Models with Parallelization and GPU acceleration

Zhenwen Dai, Andreas Damianou+2 more|arXiv (Cornell University)|Oct 18, 2014

Gaussian Processes and Bayesian Inference参考文献 15被引用 25

一句话总结

本文提出了一种可扩展的高斯过程框架，结合了分布式CPU/GPU并行计算与GPU加速计算，用于稀疏高斯过程模型。通过利用数据点间的独立性，并将Φ和Ψ等计算密集型操作卸载至GPU，该方法实现了与数据规模的线性缩放，支持对数百万个数据点进行推理，在一个64k点的合成数据集上显著优于纯CPU方法。

ABSTRACT

In this work, we present an extension of Gaussian process (GP) models with sophisticated parallelization and GPU acceleration. The parallelization scheme arises naturally from the modular computational structure w.r.t. datapoints in the sparse Gaussian process formulation. Additionally, the computational bottleneck is implemented with GPU acceleration for further speed up. Combining both techniques allows applying Gaussian process models to millions of datapoints. The efficiency of our algorithm is demonstrated with a synthetic dataset. Its source code has been integrated into our popular software library GPy.

研究动机与目标

• 为克服大规模数据集下高斯过程模型中O(N³)的计算瓶颈。
• 通过结合数据级并行化与GPU加速，实现在数百万数据点上的高效推理。
• 开发一种通用且可扩展的实现，可无缝集成至现有的高斯过程软件栈（如GPy）。
• 证明当结合现代高性能计算技术时，高斯过程模型在大数据场景下具有实际可行性。

提出的方法

• 利用稀疏高斯过程公式中模块化、基于数据点的结构，实现自然的数据点级并行化。
• 将trace(Φ)和Ψ等关键项分解为N个数据点的求和，从而实现数据级并行。
• 采用块与线程的工作负载划分策略，将Φ = Σₙ K_fuᵀK_fu和Ψ = Σₙ K_fuᵀyₙ的计算卸载至GPU。
• 使用GPU优化的内存访问模式：线程直接将结果写入全局内存（Ψ），并通过共享内存存储中间Φ结果，再进行归约。
• 通过MPI实现跨多个节点的分布式计算，每个节点负责处理部分数据点和GPU卡。
• 在优化过程中的梯度计算也采用相同的负载划分策略，确保端到端的加速效果。

实验结果

研究问题

• RQ1 能否利用现代高性能计算架构，将高斯过程模型高效扩展至数百万个数据点？
• RQ2 数据级并行化与GPU加速的结合在多大程度上能有效降低高斯过程模型的推理时间？
• RQ3 在分布式高斯过程推理中，通信与计算的比例是多少？是否支持线性加速？
• RQ4 GPU加速能否在N较大的高斯过程模型中显著超越纯CPU推理？
• RQ5 所提出的方法在实际应用中，跨多个CPU节点和GPU卡的可扩展性如何？

主要发现

• 该算法实现了计算时间与数据点数量的线性缩放，证实了并行化实现的O(N)复杂度。
• 每次迭代的推理时间随CPU和GPU数量的增加而近似线性增长，表明通信开销低且并行效率高。
• 单张GPU显卡的性能显著优于32核CPU节点，证明了GPU加速的有效性。
• 超过90%的计算时间可被分发，而不可分发操作（如矩阵求逆）的耗时不足10%，表明通过增加资源可进一步提升速度。
• 该方法成功处理了使用100个诱导点的64,000点合成数据集，展示了其在真实世界大数据应用中的可行性。
• 实现已完全集成至GPy，支持多种高斯过程模型（包括贝叶斯GP-LVM和深度高斯过程），具备广泛适用性。