[论文解读] MGSim + MGMark: A Framework for Multi-GPU System Research

Yifan Sun, Trinayan Baruah+11 more|arXiv (Cornell University)|Oct 15, 2018

Parallel Computing and Optimization Techniques参考文献 28被引用 4

一句话总结

本文提出 MGSim，一种基于 AMD GCN3 指令集架构的周期精确、模块化且并行的多 GPU 模拟器，以及 MGMark，一个针对统一内存和跨 GPU 访问模式的基准测试套件。在使用 4 个 CPU 核心时，其功能仿真和架构模拟分别实现了 3.5× 和 2.5× 的加速，同时与真实硬件相比保持了 94.5% 的平均精度，从而实现了对多 GPU 系统设计的可扩展且精确的评估。

ABSTRACT

The rapidly growing popularity and scale of data-parallel workloads demand a corresponding increase in raw computational power of GPUs (Graphics Processing Units). As single-GPU systems struggle to satisfy the performance demands, multi-GPU systems have begun to dominate the high-performance computing world. The advent of such systems raises a number of design challenges, including the GPU microarchitecture, multi-GPU interconnect fabrics, runtime libraries and associated programming models. The research community currently lacks a publically available and comprehensive multi-GPU simulation framework and benchmark suite to evaluate multi-GPU system design solutions. In this work, we present MGSim, a cycle-accurate, extensively validated, multi-GPU simulator, based on AMD's Graphics Core Next 3 (GCN3) instruction set architecture. We complement MGSim with MGMark, a suite of multi-GPU workloads that explores multi-GPU collaborative execution patterns. Our simulator is scalable and comes with in-built support for multi-threaded execution to enable fast and efficient simulations. In terms of performance accuracy, MGSim differs $5.5\%$ on average when compared against actual GPU hardware. We also achieve a $3.5 imes$ and a $2.5 imes$ average speedup in function emulation and architectural simulation with 4 CPU cores, while delivering the same accuracy as the serial simulation. We illustrate the novel simulation capabilities provided by our simulator through a case study exploring programming models based on a unified multi-GPU system (U-MGPU) and a discrete multi-GPU system (D-MGPU) that both utilize unified memory space and cross-GPU memory access. We evaluate the design implications from our case study, suggesting that D-MGPU is an attractive programming model for future multi-GPU systems.

研究动机与目标

• 为系统级研究解决缺乏公开可用、可扩展且精确的多 GPU 模拟框架的问题。
• 支持对多 GPU 系统的详细微架构分析，尤其关注内存管理、互连结构和运行时系统。
• 支持对新兴编程模型（如统一内存与分离内存的多 GPU 系统）的评估。
• 提供一个模块化、可扩展且高性能的模拟基础设施，支持并行执行和精确的定时建模。
• 提供一个全面的基准测试套件（MGMark），以捕捉真实的多 GPU 协作执行模式。

提出的方法

• MGSim 是一种基于 AMD GCN3 指令集架构构建的周期精确、执行驱动的模拟器，支持对多 GPU 系统的完整架构建模。
• 该模拟器采用模块化、基于组件的设计，具有强状态封装，以实现可扩展性并降低代码库的耦合度。
• MGSim 使用一种新颖的并行化策略，实现了可扩展的加速，且不牺牲模拟精度，在使用 4 个 CPU 核心时分别实现了 3.5× 和 2.5× 的加速。
• MGMark 是一个基准测试套件，用于捕捉多样的多 GPU 执行模式，包括数据与内核映射、内存访问以及 GPU 之间的同步。
• 该框架支持统一内存空间和跨 GPU 内存访问，从而能够对现代 GPU 编程模型进行真实建模。
• MGSim 通过微基准测试和完整应用程序与真实 GPU 硬件进行验证，平均精度达到 94.5%（偏差 5.5%）。

实验结果

研究问题

• RQ1 周期精确、高性能且模块化的多 GPU 模拟器在多 GPU 系统设计的新兴研究中如何实现更有效的研究？
• RQ2 在统一内存和跨 GPU 访问条件下，离散多 GPU（D-MGPU）与统一多 GPU（U-MGPU）系统在性能和可扩展性方面存在哪些权衡？
• RQ3 内存访问模式和 GPU 间通信如何影响多 GPU 工作负载的整体系统性能？
• RQ4 并行模拟技术在显著提升模拟吞吐量的同时，能在多大程度上保持精度？
• RQ5 在多 GPU 环境中向程序员暴露底层 GPU 控制接口会带来哪些设计启示？

主要发现

• MGSim 与真实 GPU 硬件相比实现了 94.5% 的平均精度，所有测试工作负载的平均偏差为 5.5%。
• 在使用 4 个 CPU 核心时，MGSim 在功能仿真中实现了 3.5× 的加速，在架构模拟中实现了 2.5× 的加速，且未牺牲精度。
• 案例研究显示，在使用统一内存时，D-MGPU 系统在跨 GPU 流量和互连效率方面优于 U-MGPU 系统。
• 向程序员暴露真实的多 GPU 接口可实现更好的性能控制，但需要仔细进行数据和内核映射，以避免产生过多的跨 GPU 流量。
• MGSim 的模块化和可组合设计支持高效的系统修改和社区贡献，克服了单体式模拟器的局限性。
• MGMark 有效捕捉了多样的多 GPU 执行模式，包括数据局部性、负载均衡和同步机制，使其适用于评估现代多 GPU 工作负载。