[论文解读] A Short Note on Gaussian Process Modeling for Large Datasets using Graphics Processing Units

Mark Franey, Pritam Ranjan+1 more|arXiv (Cornell University)|Mar 6, 2012

Gaussian Processes and Bayesian Inference参考文献 20被引用 18

一句话总结

该论文表明，通过使用CUDA进行GPU加速，高斯过程（GP）建模在大规模数据集上可实现高达150倍的加速，将计算时间从数小时缩短至数分钟。作者实现了一个CPU+GPU异构系统，以加速矩阵求逆和行列式计算——这些是GP似然评估中的关键性能瓶颈——在不牺牲模型准确性的前提下显著提升了性能。

ABSTRACT

The graphics processing unit (GPU) has emerged as a powerful and cost effective processor for general performance computing. GPUs are capable of an order of magnitude more floating-point operations per second as compared to modern central processing units (CPUs), and thus provide a great deal of promise for computationally intensive statistical applications. Fitting complex statistical models with a large number of parameters and/or for large datasets is often very computationally expensive. In this study, we focus on Gaussian process (GP) models -- statistical models commonly used for emulating expensive computer simulators. We demonstrate that the computational cost of implementing GP models can be significantly reduced by using a CPU+GPU heterogeneous computing system over an analogous implementation on a traditional computing system with no GPU acceleration. Our small study suggests that GP models are fertile ground for further implementation on CPU+GPU systems.

研究动机与目标

• 解决在大规模数据集上拟合高斯过程模型时的高计算成本问题，特别是由于O(n³)矩阵运算导致的性能瓶颈。
• 探索使用GPU加速（通过CUDA）在统计建模工作负载中的可行性和性能优势。
• 证明异构CPU+GPU系统相比传统的纯CPU实现，可显著减少高斯过程模型拟合的运行时间。
• 为计算密集型统计应用中的GPU加速提供概念验证，特别是在计算机实验和模拟器拟合领域。

提出的方法

• 使用幂指数相关函数（p = 1.95）实现高斯过程回归，以减少在大规模n设计下的近奇异问题。
• 采用最大似然估计（MLE）拟合超参数，该过程需要重复计算相关矩阵R的行列式和逆矩阵。
• 利用NVIDIA的CUDA工具包在GPU硬件上加速矩阵求逆和行列式计算，充分发挥单精度浮点并行处理的优势。
• 在异构计算平台上，使用相同模型配置和数据，对比纯CPU与CPU+GPU实现的性能，运行时间进行测量。
• 采用矩阵分解技术（如LU、QR）以提高数值稳定性，并降低似然评估过程中的计算开销。
• 在GPU上使用单精度算术以最大化计算速度，同时支持后续的双精度优化以提升精度。

实验结果

研究问题

• RQ1 GPU加速是否能显著减少在大规模数据集上拟合高斯过程模型所需的计算时间？
• RQ2 在GP似然评估中，CPU+GPU异构系统的运行时间与纯CPU系统相比如何？
• RQ3 当数据集规模超过n = 1000时，GPU加速在GP建模中的实际性能极限是什么？
• RQ4 单精度与双精度浮点数差异在GPU加速的GP模型中，对估计超参数的准确性影响有多大？
• RQ5 GPU加速能否与现有统计优化技术有效结合，进一步提升大规模GP建模的可扩展性？

主要发现

• 当n = 4064时，GPU加速实现将计算时间从纯CPU的约45小时缩短至18分钟，速度提升超过150倍。
• 在n = 1024时，GPU实现的似然评估耗时96.19秒，而CPU实现耗时13,325.86秒，速度提升达138倍。
• CUDA实现对所有测试数据集规模（64、256、1024、4064）均实现了稳定的加速，且在更大n值时获得最大性能增益。
• 尽管GPU上使用单精度算术，估计的超参数（μ、σ²z和-2logLθ）与纯CPU实现结果接近，表明精度可接受。
• 研究证实，矩阵求逆和行列式计算——O(n³)运算——是高斯过程建模中的主要性能瓶颈，且非常适用于GPU并行化。
• 结果表明，GPU加速是扩展高斯过程模型至大规模数据集的可行且高效的方法，尤其适用于计算机实验和模拟器拟合场景。