[论文解读] Deep Learning and Machine Learning with GPGPU and CUDA: Unlocking the Power of Parallel Computing

Ming Li, Ziqian Bi+15 more|arXiv (Cornell University)|Oct 8, 2024

Neural Networks and Applications被引用 4

一句话总结

本文全面介绍了如何利用GPGPU和CUDA加速深度学习与机器学习工作负载，展示了并行计算架构如何提升模型训练与推理的速度。内容涵盖GPU内存层次结构、CUDA编程模型、内存合并与流等优化技术，以及使用PyTorch和cuDNN、TensorRT等高层库的实际实现，使研究人员能够高效地在GPU上部署和调优深度学习模型。

ABSTRACT

General Purpose Graphics Processing Unit (GPGPU) computing plays a transformative role in deep learning and machine learning by leveraging the computational advantages of parallel processing. Through the power of Compute Unified Device Architecture (CUDA), GPUs enable the efficient execution of complex tasks via massive parallelism. This work explores CPU and GPU architectures, data flow in deep learning, and advanced GPU features, including streams, concurrency, and dynamic parallelism. The applications of GPGPU span scientific computing, machine learning acceleration, real-time rendering, and cryptocurrency mining. This study emphasizes the importance of selecting appropriate parallel architectures, such as GPUs, FPGAs, TPUs, and ASICs, tailored to specific computational tasks and optimizing algorithms for these platforms. Practical examples using popular frameworks such as PyTorch, TensorFlow, and XGBoost demonstrate how to maximize GPU efficiency for training and inference tasks. This resource serves as a comprehensive guide for both beginners and experienced practitioners, offering insights into GPU-based parallel computing and its critical role in advancing machine learning and artificial intelligence.

研究动机与目标

• 为初次接触GPU加速机器学习的研究人员提供GPGPU和CUDA的基础理解。
• 解释GPU内存层次结构（显存、缓存、寄存器）在优化深度学习性能中的作用。
• 演示使用CUDA内核实现并行算法（如向量加法、矩阵乘法）的实际方法。
• 对比分析用于GPGPU工作负载的GPU编程模型（CUDA、OpenCL、Vulkan、Metal、OpenGL）在性能、可移植性和易用性方面的异同。
• 展示如PyTorch等高层深度学习框架如何抽象底层CUDA复杂性，从而实现快速的模型开发与训练。

提出的方法

• 利用CUDA的分层线程模型（网格、块、线程、warp）将数据并行操作映射到GPU执行单元。
• 应用内存合并与共享内存优化，以减少GPU内核中全局内存访问的延迟。
• 使用CUDA流和动态并行技术，实现计算与数据传输的重叠，并支持递归内核调用。
• 通过性能分析工具识别内存访问和执行发散等瓶颈，实现性能调优。
• 利用cuDNN、cuBLAS和TensorRT等高层库加速线性代数与推理工作负载。
• 通过PyTorch展示端到端的深度学习工作流，包括模型定义、数据加载、损失计算和GPU上的反向传播。

实验结果

研究问题

• RQ1 如何有效利用GPU架构与CUDA编程模型来加速深度学习训练与推理？
• RQ2 GPU内存访问中的关键性能瓶颈是什么？通过内存合并与共享内存使用等优化策略如何缓解这些瓶颈？
• RQ3 在机器学习工作负载中，不同GPGPU编程模型（CUDA、OpenCL、Vulkan、Metal、OpenGL）在性能、可移植性和易用性方面有何差异？
• RQ4 高层深度学习框架（如PyTorch）在多大程度上抽象了底层CUDA复杂性，同时又不牺牲性能？
• RQ5 专用库（如cuDNN、TensorRT）在GPU硬件上加速深度学习工作负载方面发挥着怎样的作用？

主要发现

• 合理使用CUDA流可实现数据传输与内核启动的重叠，显著提升训练吞吐量。
• 内存合并与共享内存优化可在计算密集型操作（如矩阵乘法）中将内核执行时间减少数倍。
• PyTorch通过极少的底层代码即可实现在GPU上快速原型设计深度学习模型，自动抽象CUDA内核管理。
• 高层库如cuDNN和TensorRT提供了高度优化的常见深度学习操作实现，可实现接近GPU峰值利用率。
• 使用动态并行与warp级原语等高级优化技术，可提升现代GPU架构上内核的效率与可扩展性。
• 内存层次结构——尤其是CPU内存与GPU显存之间的差异——在决定整体模型训练性能与数据移动开销方面起着关键作用。