[论文解读] Autotuning GPU Kernels via Static and Predictive Analysis

Robert Lim, Boyana Norris+1 more|arXiv (Cornell University)|Jan 30, 2017

Parallel Computing and Optimization Techniques参考文献 13被引用 5

一句话总结

本文提出了一种基于静态分析与预测的CUDA内核自动调优框架，通过分析PTX代码来估算占用率、控制流分支发散和资源使用情况，从而消除对运行时实验的依赖。该方法能够准确预测接近最优的线程与块配置，显著缩小自动调优框架（如Orio）中的搜索空间，无需实际基准测试。

ABSTRACT

Optimizing the performance of GPU kernels is challenging for both human programmers and code generators. For example, CUDA programmers must set thread and block parameters for a kernel, but might not have the intuition to make a good choice. Similarly, compilers can generate working code, but may miss tuning opportunities by not targeting GPU models or performing code transformations. Although empirical autotuning addresses some of these challenges, it requires extensive experimentation and search for optimal code variants. This research presents an approach for tuning CUDA kernels based on static analysis that considers fine-grained code structure and the specific GPU architecture features. Notably, our approach does not require any program runs in order to discover near-optimal parameter settings. We demonstrate the applicability of our approach in enabling code autotuners such as Orio to produce competitive code variants comparable with empirical-based methods, without the high cost of experiments.

研究动机与目标

• 解决在不依赖实际基准测试的情况下选择CUDA内核最优线程与块大小的挑战。
• 通过基于内核代码静态分析的预测建模，降低实际基准测试带来的高计算成本。
• 通过基于架构特性的自动化参数调优，提升异构计算中的性能可移植性与效率。
• 将预测模型集成到自动调优框架中，以指导搜索空间缩减并加速优化过程。
• 使代码生成器与编译器能够利用关于占用率、分支发散和资源约束的静态洞察，生成高性能代码变体。

提出的方法

• 分析NVIDIA nvcc编译器生成的PTX中间代码，而非高级源代码，以捕捉与架构相关的执行行为。
• 构建控制流图（CFG），以检测并量化分支发散对warp级执行的影响及性能损失。
• 通过建模寄存器与共享内存使用情况，基于内核结构与问题规模来估算GPU占用率。
• 在不执行内核的情况下，利用指令混合、控制流特征与硬件资源限制来预测性能。
• 将静态分析器集成到Orio自动调优框架中，利用预测洞察指导参数空间探索。
• 利用静态指标指导优化决策，如线程块大小与寄存器分配，以最大化SM利用率。

实验结果

研究问题

• RQ1 在不执行内核的情况下，对PTX代码进行静态分析能否准确预测CUDA内核的最优线程与块配置？
• RQ2 与实际基准方法相比，静态预测在缩小自动调优搜索空间方面的有效性如何？
• RQ3 静态分析在多大程度上能够检测并量化性能瓶颈，如分支发散与资源利用率低下？
• RQ4 基于静态指标的预测模型在指导自动调优器选择高性能参数变体方面表现如何？
• RQ5 静态分析能否有效集成到现有自动调优流水线中，以提升效率与可扩展性？

主要发现

• 该静态分析器在无需任何内核运行的情况下，能够准确预测CUDA内核的近似最优线程与块配置。
• 该方法通过结合控制流、指令混合与资源约束的高保真度预测，显著缩小了自动调优的搜索空间。
• 与Orio自动调优器的集成显著提升了调优效率，通过静态洞察指导参数选择。
• 该方法实现的性能与实际基准调优方法相当，但计算成本仅为后者的极小部分。
• 静态分析能够有效建模占用率、分支发散与资源使用情况，从而实现对GPU内核性能的准确预测。
• 该框架可通过逐步的实际验证与模型优化实现未来可扩展性，支持预测准确性的持续改进。