[论文解读] dMath: A Scalable Linear Algebra and Math Library for Heterogeneous GP-GPU Architectures

Steven Eliuk, Cameron Upright+1 more|arXiv (Cornell University)|Apr 5, 2016

Parallel Computing and Optimization Techniques参考文献 34被引用 6

一句话总结

dMath 是一个可扩展的高性能线性代数与数学库，专为异构 GPU-GPU 架构设计，通过将数据持久存储在 GPU 内存中，最小化 CPU-GPU 数据传输，结合先进的内存管理与混合节点内/节点间并行计算（支持 MPI 和 GPU-Direct RDMA），实现了高效的分布式深度学习。它在分布式 DNN 训练中实现了领先的强弱可扩展性，优于现有框架，同时抽象了底层并行编程复杂性，保持了高开发效率。

ABSTRACT

A new scalable parallel math library, dMath, is presented in this paper that demonstrates leading scaling when using intranode, or internode, hybrid-parallelism for deep-learning. dMath provides easy-to-use distributed base primitives and a variety of domain-specific algorithms. These include matrix multiplication, convolutions, and others allowing for rapid development of highly scalable applications, including Deep Neural Networks (DNN), whereas previously one was restricted to libraries that provided effective primitives for only a single GPU, like Nvidia cublas and cudnn or DNN primitives from Nervana neon framework. Development of HPC software is difficult, labor-intensive work, requiring a unique skill set. dMath allows a wide range of developers to utilize parallel and distributed hardware easily. One contribution of this approach is that data is stored persistently on the GPU hardware, avoiding costly transfers between host and device. Advanced memory management techniques are utilized, including caching of transferred data and memory reuse through pooling. A key contribution of dMath is that it delivers performance, portability, and productivity to its specific domain of support. It enables algorithm and application programmers to quickly solve problems without managing the significant complexity associated with multi-level parallelism.

研究动机与目标

• 解决在异构 GPU-GPU 集群上开发高性能可扩展深度学习应用的挑战，而无需深入掌握底层并行编程知识。
• 通过将数据持久缓存在 GPU 设备内存中，减少频繁 CPU-GPU 内存传输带来的性能瓶颈。
• 提供高层、用户透明的编程模型，抽象多 GPU 与分布式计算的复杂性，同时支持混合精度算术与高效的数据重组织。
• 在商用 GPU 密集型集群上，通过混合并行计算（MPI + CUDA）实现分布式深度神经网络训练中的强弱可扩展性。
• 通过集成先进的内存管理、缓存机制与基于 GPU-Direct RDMA 的优化通信，提升 HPC 和机器学习工作负载的性能与开发效率。

提出的方法

• dMath 采用持久的 GPU 内存存储机制，将操作数长期保留在 GPU 上，消除重复的 CPU-GPU 数据传输，降低延迟。
• 采用客户端-服务器模型，用户的主线程驱动后端计算，数据在操作间持续缓存在 GPU 内存中。
• 该库采用面向对象设计，提供抽象的矩阵与向量类，支持多种精度（单精度、双精度、半精度）、数据布局及计算目标（CPU、GPU、分布式环境）。
• 提供数据重组织与复制服务，高效地在不同并行布局之间重新映射矩阵，优化 DNN 管道中各阶段的性能。
• dMath 集成 MPI 并利用 GPU-Direct 远程直接内存访问（RDMA）加速 GPU 间通信，降低延迟并提升带宽。
• 包含高级内存管理技术，如数据缓存、内存池化与高效类型转换，以支持混合精度运算与有损压缩。

实验结果

研究问题

• RQ1 线性代数库如何在 GPU 密集型集群上实现分布式深度学习工作负载中领先的强弱可扩展性？
• RQ2 持久的 GPU 内存存储与高级内存管理在大规模机器学习中，能在多大程度上减少 CPU-GPU 数据传输开销？
• RQ3 高层抽象层能否有效隐藏混合并行计算（MPI + CUDA）的复杂性，同时在分布式 DNN 训练中保持高性能？
• RQ4 与传统基于 PCIe 的 MPI 通信相比，GPU-Direct RDMA 如何提升多 GPU 系统中 GPU 间通信的性能？
• RQ5 数据重组织与布局转换在优化深度神经网络管道中连续操作的性能方面发挥何种作用？

主要发现

• dMath 在分布式 DNN 训练中表现出优于开源框架的强弱可扩展性，实验结果表明其通过 Expresso 框架显著提升了性能。
• 通过将数据持久缓存在 GPU 内存中，dMath 实现了显著的性能提升，消除了昂贵的 CPU-GPU 传输，降低了 GEMM 等迭代算法的延迟。
• 与 OpenMPI 和 MVAPICH2 集成的 GPU-Direct RDMA 显著降低了通信延迟并提升了带宽，实现了高效节点内与节点间的 GPU 通信。
• 数据重组织与复制服务可高效实现不同并行数据分布间的布局转换，优化了 DNN 管道各阶段的性能。
• dMath 支持混合精度运算（半精度、单精度、双精度），具备高效的类型转换与有损压缩能力，在不影响合适数值算法精度的前提下减少了内存带宽使用。
• 通过抽象 MPI、CUDA 与数据布局管理的底层细节，dMath 显著提升了开发效率，使开发者能够专注于算法设计而非系统级复杂性。