[论文解读] Investigating Warp Size Impact in GPUs

Ahmad Lashgar, Amirali Baniasadi+1 more|arXiv (Cornell University)|May 22, 2012

Parallel Computing and Optimization Techniques参考文献 14被引用 3

一句话总结

本文通过对比两种GPU设计——一种采用小 warp 并增强内存合并（SW+），另一种采用大 warp 并使用类似 MIMD 的控制流机制以减轻分支发散（LW+）——研究了 warp 大小对GPU性能的影响。作者发现，通过增强内存合并的小 warp GPU 性能优于经过控制流优化的大 warp GPU，表明改进内存访问的小 warp 设计策略更为有效。

ABSTRACT

There are a number of design decisions that impact a GPU's performance. Among such decisions deciding the right warp size can deeply influence the rest of the design. Small warps reduce the performance penalty associated with branch divergence at the expense of a reduction in memory coalescing. Large warps enhance memory coalescing significantly but also increase branch divergence. This leaves designers with two choices: use a small warps and invest in finding new solutions to enhance coalescing or use large warps and address branch divergence employing effective control-flow solutions. In this work our goal is to investigate the answer to this question. We analyze warp size impact on memory coalescing and branch divergence. We use our findings to study two machines: a GPU using small warps but equipped with excellent memory coalescing (SW+) and a GPU using large warps but employing an MIMD engine immune from control-flow costs (LW+). Our evaluations show that building coalescing-enhanced small warp GPUs is a better approach compared to pursuing a control-flow enhanced large warp GPU.

研究动机与目标

• 分析GPU架构中warp大小、内存合并与分支发散之间的权衡。
• 评估采用小warp增强内存合并与大warp先进控制流处理的性能影响。
• 确定在小warp上投资改进内存合并优化，是否比在大warp上优化控制流更具优势。
• 比较两种假设的GPU设计：SW+（小warp，合并优化）与LW+（大warp，基于MIMD的控制流）

提出的方法

• 作者通过分析建模与仿真，分析warp大小对内存合并与分支发散的影响。
• 他们设计并评估了两种GPU架构：SW+（小warp，增强内存合并）与LW+（大warp，采用类似MIMD的执行方式以减少控制流开销）。
• 评估基于技术报告与代表性工作负载的仿真性能对比。
• 研究重点在于量化不同warp大小下分支发散与内存合并效率的性能影响。
• 作者结合理论分析与性能建模，对两种GPU设计进行比较。

实验结果

研究问题

• RQ1 warp大小如何影响GPU架构中的内存合并效率？
• RQ2 在大warp与小warp中，分支发散的性能影响有何差异？
• RQ3 哪种设计方法能带来更好的整体GPU性能：在小warp中优化内存合并，还是在大warp中改进控制流处理？
• RQ4 具有优异内存合并能力的小warp GPU是否能超越具备先进控制流机制的大warp GPU？

主要发现

• SW+设计（小warp，增强内存合并）在性能上优于LW+设计（大warp，基于MIMD的控制流处理）。
• 小warp可减少分支发散开销，当与高效的内存合并结合时，性能显著提升。
• 小warp中内存合并优化带来的性能增益，超过了大warp中控制流开销降低的收益。
• 研究结论认为，在小warp上投资优化内存合并，比专注于大warp的控制流增强，是一种更有效的设计策略。