[论文解读] Large Scale Artificial Neural Network Training Using Multi-GPUs

Linnan Wang, Wei Wu+2 more|arXiv (Cornell University)|Nov 13, 2015

Neural Networks and Applications参考文献 9被引用 5

一句话总结

该论文提出了一种基于多GPU的外部存储矩阵乘法框架，通过优化矩阵运算中的前向传播和反向传播，加速大规模人工神经网络（ANN）训练。该方法在异构GPU上实现了线性加速，显著提升了大模型训练的效率。

ABSTRACT

This paper describes a method for accelerating large scale Artificial Neural Networks (ANN) training using multi-GPUs by reducing the forward and backward passes to matrix multiplication. We propose an out-of-core multi-GPU matrix multiplication and integrate the algorithm with the ANN training. The experiments demonstrate that our matrix multiplication algorithm achieves linear speedup on multiple inhomogeneous GPUs. The full paper of this project can be found at [1].

研究动机与目标

• 解决大规模人工神经网络训练中的计算瓶颈问题。
• 实现在数据超过单个GPU内存容量时，跨多个GPU的高效矩阵乘法。
• 在异构GPU配置的多GPU训练中实现线性可扩展性。
• 将优化的矩阵乘法集成到完整的ANN训练流水线中，以提升性能。

提出的方法

• 该方法采用一种外部存储矩阵乘法算法，将大型矩阵分割到多个GPU上，以处理超过单个GPU内存容量的数据。
• 通过优化数据移动与计算的重叠，最小化GPU之间的通信开销。
• 将矩阵乘法直接集成到反向传播的前向和反向传播过程中，将算法复杂度简化为矩阵运算。
• 通过根据GPU性能动态负载均衡计算，支持异构GPU集群。
• 采用异步通信模式隐藏通信延迟，提高资源利用率。
• 该方法已集成到深度学习训练流水线中，用GPU加速的矩阵核替代传统的CPU计算或单GPU操作。

实验结果

研究问题

• RQ1 外部存储矩阵乘法是否能够在多GPU系统上实现大规模神经网络的高效训练？
• RQ2 所提出的方法是否在多个异构GPU上实现线性加速？
• RQ3 将优化的矩阵乘法集成到训练流程中，对深度神经网络的整体训练吞吐量有何影响？
• RQ4 通信与内存管理对分布式多GPU训练性能有何影响？

主要发现

• 所提出的外部存储矩阵乘法在多个异构GPU上实现了线性加速，展现出强大的可扩展性。
• 该方法通过高效利用设备间的GPU内存与计算资源，显著减少了大规模神经网络的训练时间。
• 将优化的矩阵运算集成到ANN训练流水线中，显著加速了前向和反向传播过程。
• 得益于动态负载均衡，系统即使在GPU性能不一致的情况下也能保持高GPU利用率。
• 通过异步数据传输和高效的内存访问模式，通信开销得到有效最小化。