[论文解读] CuMF_SGD: Fast and Scalable Matrix Factorization

Xiaolong Xie, Wei Tan+2 more|arXiv (Cornell University)|Oct 19, 2016

Stochastic Gradient Optimization Techniques参考文献 29被引用 11

一句话总结

cuMF_SGD 是一种用于大规模矩阵分解的 GPU 加速随机梯度下降（SGD）框架，利用 CUDA 技术发挥 GPU 的高内存带宽和大规模并行性优势。它引入了批处理-Hogwild! 和波前更新调度，采用半精度浮点数和 warp-shuffle 优化的内核，以及适用于多 GPU 扩展的分区方案，使单 GPU 配置下的运行速度相比最先进的 CPU 系统提升 3.1X–28.2X，并在多 GPU 环境中实现次线性可扩展性。

ABSTRACT

Matrix factorization (MF) has been widely used in e.g., recommender systems, topic modeling and word embedding. Stochastic gradient descent (SGD) is popular in solving MF problems because it can deal with large data sets and is easy to do incremental learning. We observed that SGD for MF is memory bound. Meanwhile, single-node CPU systems with caching performs well only for small data sets; distributed systems have higher aggregated memory bandwidth but suffer from relatively slow network connection. This observation inspires us to accelerate MF by utilizing GPUs's high memory bandwidth and fast intra-node connection. We present cuMF_SGD, a CUDA-based SGD solution for large-scale MF problems. On a single CPU, we design two workload schedule schemes, i.e., batch-Hogwild! and wavefront-update that fully exploit the massive amount of cores. Especially, batch-Hogwild! as a vectorized version of Hogwild! overcomes the issue of memory discontinuity. We also develop highly-optimized kernels for SGD update, leveraging cache, warp-shuffle instructions and half-precision floats. We also design a partition scheme to utilize multiple GPUs while addressing the well-known convergence issue when parallelizing SGD. On three data sets with only one Maxwell or Pascal GPU, cuMF_SGD runs 3.1X-28.2X as fast compared with state-of-art CPU solutions on 1-64 CPU nodes. Evaluations also show that cuMF_SGD scales well on multiple GPUs in large data sets.

研究动机与目标

• 为解决基于 SGD 的矩阵分解中内存带宽瓶颈问题，特别是针对大规模数据集。
• 利用 GPU 的高内存带宽和快速节点内通信能力，使矩阵分解的加速效果超越单节点 CPU 或分布式 CPU 集群的性能极限。
• 设计 GPU 友好的工作负载调度机制（批处理-Hogwild! 和波前更新），在保持 SGD 随机性的同时最大化并行性和内存聚合。
• 开发高度优化的 GPU 内核，采用半精度浮点数、warp-shuffle 和缓存感知访问模式，以实现高效的 SGD 更新。
• 通过设计一种分区方案，实现有效的多 GPU 扩展，避免因更新冲突导致的收敛性能下降。

提出的方法

• 提出批处理-Hogwild!，即 Hogwild! 的向量化变体，通过批量处理多个更新减少内存不连续性，提升缓存利用率并改善内存聚合。
• 引入波前更新调度，实现数据并行、依赖感知的更新排序，最大化 GPU 占用率并隐藏内存延迟。
• 采用高度优化的 CUDA 内核，使用半精度浮点数运算（FP16）、warp-shuffle 指令和缓存分块技术，减少内存流量并提高计算强度。
• 设计适用于多 GPU 系统的矩阵分区策略，确保负载均衡，最小化 GPU 间同步开销，同时保持 SGD 的收敛特性。
• 采用受 Hogwild! 启发的无锁更新机制，避免同步瓶颈，实现在共享内存 GPU 架构上的高吞吐量训练。
• 通过 CPU-GPU 内存传输实现 GPU 间的同步，精心管理数据移动以最小化多 GPU 环境下的性能损耗。

实验结果

研究问题

• RQ1 基于 GPU 的 SGD 是否能通过克服内存带宽限制，在大规模矩阵分解中显著超越基于 CPU 的 SGD？
• RQ2 如何设计 GPU 上的工作负载调度，以在保持 SGD 随机性的同时最大化并行性和内存聚合？
• RQ3 在 GPU 上基于 SGD 的矩阵分解中，哪些内核优化最有效于提升计算强度并减少内存访问开销？
• RQ4 能否在不降低收敛性能的前提下实现多 GPU 扩展？何种分区策略可实现此目标？
• RQ5 在不同数据规模下，GPU 加速的 SGD 与最先进的 CPU 系统相比性能如何？

主要发现

• 在单个 Maxwell 或 Pascal GPU 上，cuMF_SGD 相较于运行在 1 至 64 个 CPU 节点上的最先进 CPU 解决方案，实现了 3.1X 到 28.2X 的加速。
• 批处理-Hogwild! 调度方案有效减少了内存不连续性，改善了内存聚合，从而提升了有效内存带宽利用率。
• 波前更新调度实现了高 GPU 占用率并隐藏了内存延迟，有助于高效利用 GPU 的大规模并行能力。
• 使用半精度浮点数运算（FP16）和 warp-shuffle 指令显著减少了内存流量并加速了内核执行。
• cuMF_SGD 在多 GPU 环境中实现次线性扩展，对于 Yahoo!Music 数据集，在两个 Pascal GPU 上相比单 GPU 实现了 1.5X 的加速，尽管存在 CPU-GPU 内存传输开销。
• 该框架在大规模数据集（如 Yahoo!Music，1M × 625K）上表现出色，多 GPU 支持可行且高效；而 Netflix 和 Hugewiki 等较小数据集受限于低维特性，性能受限。