[论文解读] Rgtsvm: Support Vector Machines on a GPU in R

Zhong Wang, Tinyi Chu+2 more|arXiv (Cornell University)|Jun 17, 2017

Data Analysis with R参考文献 14被引用 7

一句话总结

Rgtsvm 通过利用 GPU 计算加速了 R 语言中的支持向量机（SVM），在包含数百万个样本的大数据集上实现了超过 100 倍的性能提升。它在保持与 e1071 R 包完全兼容的同时，支持初学者和专家用户进行可扩展的训练。

ABSTRACT

Rgtsvm provides a fast and flexible support vector machine (SVM) implementation for the R language. The distinguishing feature of Rgtsvm is that support vector classification and support vector regression tasks are implemented on a graphical processing unit (GPU), allowing the libraries to scale to millions of examples with >100-fold improvement in performance over existing implementations. Nevertheless, Rgtsvm retains feature parity and has an interface that is compatible with the popular e1071 SVM package in R. Altogether, Rgtsvm enables large SVM models to be created by both experienced and novice practitioners.

研究动机与目标

• 解决传统基于 CPU 的 R 语言 SVM 实现方法在扩展到大规模数据集时的性能瓶颈。
• 实现在包含数百万个样本的数据集上高效训练支持向量机，而这是标准 R 实现无法完成的。
• 保持与广泛使用的 e1071 R 包在功能和接口上的兼容性，以确保广泛的可用性。
• 通过 GPU 加速，为分类和回归任务提供可扩展、高性能的解决方案。
• 通过熟悉且高性能的 R 接口，促进初学者和经验丰富的实践者采用。

提出的方法

• 使用 CUDA 支持的 GPU 内核实现支持向量分类和回归，以实现并行计算。
• 集成 GPU 加速的线性和径向基函数（RBF）核计算，以加快核矩阵的评估速度。
• 设计内存高效的内存布局，以最小化训练过程中 GPU 内存带宽瓶颈。
• 提供高层 R 接口，镜像 e1071 包的 API，以实现无缝集成和易于使用。
• 使用 cuDNN 和 cuBLAS 库优化 SVM 优化中关键的线性代数操作。
• 支持使用标准 SVM 公式的分类和回归任务，包括 C-SVC 和 nu-SVR。

实验结果

研究问题

• RQ1 GPU 加速是否能在不牺牲功能的前提下显著减少 R 语言中 SVM 的训练时间？
• RQ2 与现有的基于 CPU 的 R 实现相比，Rgtsvm 在包含数百万个样本的数据集上的可扩展性如何？
• RQ3 在标准基准数据集上，Rgtsvm 与 e1071 包在速度和准确性方面相比如何？
• RQ4 GPU 加速的 SVM 库是否能与广泛采用的 e1071 R 接口保持完全兼容？
• RQ5 GPU 加速对 R 语言中大规模机器学习任务的 SVM 可用性有何实际影响？

主要发现

• 在包含数百万个样本的大规模数据集上，Rgtsvm 相较于标准 e1071 包实现了超过 100 倍的训练时间加速。
• GPU 加速的实现能够高效扩展至包含超过 100 万个训练样本的数据集，而这些数据集通常在基于 CPU 的 R 包中无法训练。
• Rgtsvm 与 e1071 包保持功能一致，支持使用线性核和 RBF 核的分类与回归。
• 性能提升在不同核类型和问题规模下保持一致，展现出稳健的可扩展性。
• 该库使 R 语言中大规模机器学习任务的 SVM 实际可用，而这些任务此前在计算上是不可行的。
• 接口设计确保了向后兼容性，使用户能够以极少的代码更改从 e1071 切换到 Rgtsvm。