[论文解读] MPU: Towards Bandwidth-abundant SIMT Processor via Near-bank Computing

Xinfeng Xie, Peng Gu+4 more|arXiv (Cornell University)|Mar 11, 2021

Parallel Computing and Optimization Techniques参考文献 64被引用 4

一句话总结

MPU 提出了一种基于 3D 堆叠近内存计算的首个 SIMT 处理器，采用混合流水线将指令卸载至近内存单元，同时最小化 TSV 通信流量。通过架构优化和端到端的 CUDA 兼容编译流程，MPU 在数据密集型工作负载下相比 NVIDIA Tesla V100 实现了 3.46× 的加速比和 2.57× 的能效提升。

ABSTRACT

With the growing number of data-intensive workloads, GPU, which is the state-of-the-art single-instruction-multiple-thread (SIMT) processor, is hindered by the memory bandwidth wall. To alleviate this bottleneck, previously proposed 3D-stacking near-bank computing accelerators benefit from abundant bank-internal bandwidth by bringing computations closer to the DRAM banks. However, these accelerators are specialized for certain application domains with simple architecture data paths and customized software mapping schemes. For general purpose scenarios, lightweight hardware designs for diverse data paths, architectural supports for the SIMT programming model, and end-to-end software optimizations remain challenging. To address these issues, we propose MPU (Memory-centric Processing Unit), the first SIMT processor based on 3D-stacking near-bank computing architecture. First, to realize diverse data paths with small overheads while leveraging bank-level bandwidth, MPU adopts a hybrid pipeline with the capability of offloading instructions to near-bank compute-logic. Second, we explore two architectural supports for the SIMT programming model, including a near-bank shared memory design and a multiple activated row-buffers enhancement. Third, we present an end-to-end compilation flow for MPU to support CUDA programs. To fully utilize MPU's hybrid pipeline, we develop a backend optimization for the instruction offloading decision. The evaluation results of MPU demonstrate 3.46x speedup and 2.57x energy reduction compared with an NVIDIA Tesla V100 GPU on a set of representative data-intensive workloads.

研究动机与目标

• 通过在 3D 堆叠 DRAM 中利用近内存计算，解决 GPU 工作负载中的内存带宽墙问题。
• 在近内存加速器上实现通用、可编程的数据密集型工作负载执行，突破以往领域专用设计的局限。
• 通过近内存共享内存和多个激活的行缓冲等架构特性，支持 SIMT 编程模型。
• 开发端到端的编译流程，将 CUDA 程序映射到 MPU 架构上，实现透明的移植与优化。
• 仅将轻量级指令卸载至 DRAM 芯片，同时在基底芯片上保留复杂控制逻辑，从而最小化 TSV 通信流量和面积开销。

提出的方法

• 设计一种混合 SIMT 流水线，其中指令获取、解码和分发在基底逻辑芯片上完成，而选定的指令则根据编译器提示或运行时策略卸载至近内存单元（NBUs）。
• 实现一个指令卸载引擎，动态决定在何处执行特定指令，减少跨 TSV 的寄存器移动。
• 引入近内存共享内存，减少片外数据移动，提升线程间通信效率。
• 通过多个激活的行缓冲提升带宽利用率，在动态线程束调度下仍能保持高 DRAM 存储体内部带宽。
• 开发后端编译器优化，静态分析 CUDA 内核，标注指令位置（近内存 vs. 基底芯片），以实现最优卸载。
• 为 MPU 使用独立的内存空间，避免共享内存一致性或主机访问竞争问题，实现端到端内核执行。

实验结果

研究问题

• RQ1 能否在最小化面积和 TSV 开销的前提下，高效实现基于 3D 堆叠近内存计算的通用 SIMT 处理器？
• RQ2 在近内存架构中，如何高效支持 SIMT 编程模型，特别是共享内存和线程束调度机制？
• RQ3 将特定类型指令卸载至近内存单元对性能和能效的影响如何，同时保证程序正确性？
• RQ4 端到端软件支持（包括 CUDA 兼容编译流程）在多大程度上能够释放近内存计算在数据密集型工作负载中的潜力？
• RQ5 与现有 3D 堆叠 GPU 和近数据计算平台相比，MPU 的混合流水线与架构优化在带宽利用率和效率方面表现如何？

主要发现

• 在一组代表性数据密集型工作负载下，MPU 相较于 NVIDIA Tesla V100 GPU 实现了 3.46× 的加速比，展现出显著的性能提升。
• MPU 的能效相比 V100 提升了 2.57×，主要得益于减少的数据移动和对存储体内部带宽的高效利用。
• 混合流水线设计通过仅将轻量级指令卸载至 DRAM 芯片，显著减少了 TSV 通信流量，从而最小化了面积和能耗开销。
• 近内存共享内存减少了片外数据移动，提升了线程间通信效率和整体带宽利用率。
• 多行缓冲激活设计在动态线程束调度下仍能保持高 DRAM 带宽，有效防止行缓冲颠簸。
• 端到端 CUDA 编译流程支持现有内核的透明移植，后端优化可改进指令卸载决策，从而提升整体性能。