[论文解读] Kernel methods through the roof: handling billions of points efficiently

Giacomo Meanti, Luigi Carratino+2 more|arXiv (Cornell University)|Jun 18, 2020

Gaussian Processes and Bayesian Inference参考文献 58被引用 28

一句话总结

该论文提出Falkon，一种可扩展的核方法求解器，利用GPU加速、多GPU并行化以及外存线性代数技术，高效处理包含数十亿个点的数据集。通过结合Nyström近似与预处理共轭梯度求解器，并优化内存访问和数值精度，该方法在大规模问题上实现分钟级的最先进精度，显著提升了核方法的实际应用潜力。

ABSTRACT

Kernel methods provide an elegant and principled approach to nonparametric learning, but so far could hardly be used in large scale problems, since naïve implementations scale poorly with data size. Recent advances have shown the benefits of a number of algorithmic ideas, for example combining optimization, numerical linear algebra and random projections. Here, we push these efforts further to develop and test a solver that takes full advantage of GPU hardware. Towards this end, we designed a preconditioned gradient solver for kernel methods exploiting both GPU acceleration and parallelization with multiple GPUs, implementing out-of-core variants of common linear algebra operations to guarantee optimal hardware utilization. Further, we optimize the numerical precision of different operations and maximize efficiency of matrix-vector multiplications. As a result we can experimentally show dramatic speedups on datasets with billions of points, while still guaranteeing state of the art performance. Additionally, we make our software available as an easy to use library.

研究动机与目标

• 为在包含数十亿个点的数据集上实现核方法的实际应用，克服传统核方法的计算瓶颈。
• 设计一种能充分利用GPU硬件和多GPU并行性的求解器，以实现高性能核学习。
• 实现关键线性代数操作的外存变体，以在内存受限的情况下仍保持最优硬件利用率。
• 通过优化数值精度和矩阵-向量乘法效率，实现最大计算吞吐量。
• 基于PyTorch，构建一个高性能、易于使用的大型核方法库。

提出的方法

• 该方法采用Nyström近似以减小有效问题规模，从而实现可扩展的核学习。
• 对平滑损失函数使用预处理共轭梯度求解器，预处理矩阵由Nyström近似导出。
• 设计了外存版本的BLAS操作（如TRSM、SYRK、GEMM），以处理超出GPU内存容量的矩阵，使用共享状态跟踪表（T）实现同步。
• 算法采用基于分块的列式Cholesky分解，结合动态内存管理和计算与数据传输的重叠。
• 通过使用共享整数表T的非阻塞同步机制，精心调度分块的加载与写入，以优化内存访问。
• 针对每项操作调整数值精度，以在不损失精度的前提下最大化性能，并通过GPU优化内核加速矩阵-向量乘法。

实验结果

研究问题

• RQ1 能否利用现代GPU硬件将核方法高效扩展至包含数十亿个点的数据集？
• RQ2 如何设计外存线性代数操作，以在大规模核学习中保持高GPU利用率？
• RQ3 在大规模设置下，预处理共轭梯度求解器与Nyström近似结合使用，对速度和精度的影响如何？
• RQ4 GPU优化、内存高效的核方法实现能否在保持实用性和用户友好性的同时，实现最先进性能？
• RQ5 与现有大规模核方法（如Eigenpro、GPyTorch和GPflow）相比，所提出的求解器在精度和速度上表现如何？

主要发现

• 所提出的Falkon求解器在包含多达数十亿个点的大规模数据集上实现了最先进预测精度，其速度和精度均优于现有方法。
• 该求解器在几分钟内即可处理包含1亿至10亿个点的数据集，相较于传统核方法展现出显著的速度提升。
• 结合GPU加速的外存线性代数操作，即使在矩阵超出GPU内存容量时，也能高效利用硬件资源。
• Nyström近似、预处理共轭梯度与GPU优化内核的结合，带来了显著的计算效率提升。
• 通过在多个GPU上精细调整精度和内存访问模式，该方法保持了高度的数值稳定性和精度。
• 基于PyTorch构建的开源库Falkon，支持轻松部署并集成到现有机器学习工作流中。