[论文解读] Faster and Cheaper: Parallelizing Large-Scale Matrix Factorization on GPUs

Wei Tan, Liangliang Cao+1 more|arXiv (Cornell University)|Mar 11, 2016

Matrix Theory and Algorithms参考文献 26被引用 6

一句话总结

本论文提出 cuMF，一个基于 CUDA 的矩阵分解库，通过优化内存访问、结合数据并行与模型并行，并采用拓扑感知并行归约，利用单张或多张 GPU 加速大规模矩阵分解。在配备四张 GPU 的单台机器上，cuMF 相较于最先进的分布式 CPU 系统实现了 6–10 倍的加速比和 33–100 倍的成本效率提升。

ABSTRACT

Matrix factorization (MF) is employed by many popular algorithms, e.g., collaborative filtering. The emerging GPU technology, with massively multicore and high intra-chip memory bandwidth but limited memory capacity, presents an opportunity for accelerating MF much further when appropriately exploiting the GPU architectural characteristics. This paper presents cuMF, a CUDA-based matrix factorization library that implements memory-optimized alternate least square (ALS) method to solve very large-scale MF. CuMF uses a variety set of techniques to maximize the performance on either single or multiple GPUs. These techniques include smart access of sparse data leveraging GPU memory hierarchy, using data parallelism in conjunction with model parallelism, minimizing the communication overhead between computing units, and utilizing a novel topology-aware parallel reduction scheme. With only a single machine with four Nvidia GPU cards, cuMF can be 6-10 times as fast, and 33-100 times as cost-efficient, compared with the state-of-art distributed CPU solutions. Moreover, this cuMF can solve the largest matrix factorization problem ever reported yet in current literature, while maintaining impressively good performance.

研究动机与目标

• 应对工业级推荐系统中对可扩展且快速的矩阵分解（MF）日益增长的需求，这些系统如今涉及多达 1000 亿条以上的评分记录和数十亿用户。
• 克服现有基于 CPU 的分布式系统所面临的局限，这些系统需要庞大的计算集群（例如 50 个节点），且存在高延迟与高成本的问题。
• 尽管 GPU 在内存容量方面存在限制，且稀疏 MF 工作负载具有内存带宽瓶颈的特性，仍充分利用 GPU 架构的优势，特别是高内存带宽与大规模并行处理能力。
• 设计一种系统，通过算法与架构优化的结合，最大化稀疏、大规模 MF 任务在 GPU 上的利用率。
• 证明单机 GPU 解决方案在 MF 工作负载上，相比大规模 CPU 集群，在性能与成本效率方面均更具优势。

提出的方法

• 实现一种针对 GPU 上稀疏矩阵分解的优化版交替最小二乘法（ALS）算法，特别关注内存访问效率。
• 采用减少非连续内存访问、将热点变量缓存在更快的内存中（如共享内存或寄存器）以及积极使用寄存器等技术，以提升内存带宽利用率。
• 结合数据并行（将评分矩阵在多个 GPU 间划分）与模型并行（将因子矩阵分布到不同 GPU）以实现多 GPU 的可扩展性。
• 设计一种新颖的拓扑感知并行归约方案，通过利用物理 GPU 互连拓扑结构，最小化 GPU 间的通信开销。
• 采用混合执行模型，使计算与通信重叠，隐藏延迟，提升整体吞吐量。
• 将上述优化整合进一个基于 CUDA 的库（cuMF）中，支持单 GPU 与多 GPU 部署。

实验结果

研究问题

• RQ1 基于 GPU 的加速是否能在大规模矩阵分解任务中显著超越分布式 CPU 系统，在速度与成本效率方面表现更优？
• RQ2 如何优化稀疏矩阵分解中的内存访问模式，以更好地利用 GPU 的内存层次结构，避免带宽瓶颈？
• RQ3 在多 GPU 上扩展基于 ALS 的 MF 时，数据并行与模型并行的最佳组合是什么，才能在最小化通信开销的同时实现高效扩展？
• RQ4 与朴素或非拓扑感知的归约方式相比，拓扑感知并行归约方案在多 GPU 矩阵分解中如何提升性能？
• RQ5 单机 GPU 系统是否能够以更优的性能与更低的成本，解决迄今为止文献中报告的最大规模矩阵分解问题？

主要发现

• cuMF 在仅使用配备四张 GPU 的单台机器上，相较最先进的分布式 CPU 系统（如 NOMAD、SparkALS、Factorbird），在相同基准工作负载下实现了 6–10 倍的加速比。
• 由于执行速度更快且所需节点更少，cuMF 相较基线 CPU 系统将大规模 MF 的整体运行成本降低了 33–100 倍。
• 该系统成功解决了迄今为止文献中报告的最大规模矩阵分解问题，展示了超越以往极限的可扩展性。
• 通过减少非连续内存访问以及对寄存器与共享内存的战略性使用，内存访问优化使 cuMF 的性能更接近 GPU 的理论峰值性能（roofline）。
• 拓扑感知并行归约方案显著降低了 GPU 间的通信延迟，实现了多 GPU 间的高效扩展。
• 即使在极大规模数据集（如包含超过 1000 亿条评分记录的 Facebook 数据集）上，cuMF 仍能保持高性能与可扩展性，而以往基于 CPU 的系统在这些场景下往往难以扩展或完全失效。