[论文解读] Dissecting GPU Memory Hierarchy through Microbenchmarking

Xinxin Mei, Xiaowen Chu|arXiv (Cornell University)|Sep 8, 2015

Parallel Computing and Optimization Techniques参考文献 24被引用 5

一句话总结

本文提出了一种细粒度的指针追踪微基准测试，用于逆向分析NVIDIA Fermi、Kepler和Maxwell GPU的内存层次结构。该研究揭示了此前未知的缓存行为，例如非传统的L1数据缓存替换策略以及纹理缓存中的二维空间局部性，并表明Maxwell在资源共享冲突下显著降低了共享内存延迟，在效率和性能方面优于Fermi和Kepler。

ABSTRACT

Memory access efficiency is a key factor in fully utilizing the computational power of graphics processing units (GPUs). However, many details of the GPU memory hierarchy are not released by GPU vendors. In this paper, we propose a novel fine-grained microbenchmarking approach and apply it to three generations of NVIDIA GPUs, namely Fermi, Kepler and Maxwell, to expose the previously unknown characteristics of their memory hierarchies. Specifically, we investigate the structures of different GPU cache systems, such as the data cache, the texture cache and the translation look-aside buffer (TLB). We also investigate the throughput and access latency of GPU global memory and shared memory. Our microbenchmark results offer a better understanding of the mysterious GPU memory hierarchy, which will facilitate the software optimization and modelling of GPU architectures. To the best of our knowledge, this is the first study to reveal the cache properties of Kepler and Maxwell GPUs, and the superiority of Maxwell in shared memory performance under bank conflict.

研究动机与目标

• 逆向分析现代NVIDIA GPU中未公开的内存层次结构，尤其关注缓存结构与内存访问特性。
• 解决GPU计算能力与内存带宽之间差距所导致的性能瓶颈，该瓶颈限制了应用程序的效率。
• 提供一种可复现的细粒度方法，用于测量多代GPU的内存吞吐量、延迟和缓存行为。
• 比较Fermi、Kepler和Maxwell GPU的架构演进，突出从性能优化到能效优化的转变。
• 通过揭示隐藏的硬件行为，为软件优化和GPU应用建模提供可操作的见解。

提出的方法

• 设计并实现一种新颖的细粒度指针追踪（P-chase）微基准测试，用于探测GPU特定内存层次结构中的缓存行为。
• 利用P-chase技术通过分析访问模式和延迟变化，识别缓存参数，如关联度、行大小和替换策略。
• 测量在各种访问模式（包括步长和bank冲突场景）下全局内存和共享内存的吞吐量与延迟。
• 系统性地改变内存访问模式（例如，步长大小、数据对齐方式），以隔离bank冲突对共享内存性能的影响。
• 将微基准测试应用于三款NVIDIA GPU（Fermi、Kepler、Maxwell）以实现跨架构比较。
• 通过重复实验验证结果，并公开提供源代码与数据以确保可复现性。

实验结果

研究问题

• RQ1 现代NVIDIA GPU中的底层缓存结构（如L1数据缓存、纹理缓存、TLB）是什么？它们与CPU缓存模型有何不同？
• RQ2 共享内存bank冲突如何影响访问延迟？哪些架构优化可缓解此问题？
• RQ3 Fermi、Kepler和Maxwell GPU中全局内存与共享内存的实际吞吐量和延迟特性如何？
• RQ4 从Fermi到Maxwell，GPU内存层次结构在带宽、容量和效率方面如何演变？
• RQ5 与Fermi和Kepler相比，Maxwell架构在多大程度上降低了共享内存bank冲突的性能惩罚？

主要发现

• GPU的L1数据缓存采用非传统的替换策略，与标准CPU缓存行为不同。
• 纹理L1缓存采用基于2D空间局部性的优化集合关联映射，可提升对2D数据模式的访问效率。
• GPU的L2 TLB由不等长的集合组成，表明不同内存区域的访问行为不一致。
• 共享内存访问延迟几乎随潜在bank冲突数量线性增加，Fermi在32路冲突下延迟最高可达1209个周期。
• Kepler的8字节模式通过将共享内存bank宽度加倍，降低了bank冲突概率，从而在性能上优于Fermi的4字节模式。
• Maxwell的共享内存高度优化：即使在32路bank冲突下，延迟仍保持在L1数据缓存水平（30周期），相比Fermi（90周期）和Kepler（42周期）展现出更优的冲突缓解能力。