[论文解读] Automatic Microprocessor Performance Bug Detection

Erick Carvajal Barboza, Sara Jacob+4 more|arXiv (Cornell University)|Nov 17, 2020

Parallel Computing and Optimization Techniques参考文献 48被引用 4

一句话总结

本文提出一种基于机器学习的两阶段方法，用于自动检测微处理器核心设计中的性能错误。通过利用来自旧型微架构的性能计数器训练预测基线IPC的模型，该方法能够以91.5%的检测率识别出导致IPC影响超过1%的性能回归，且对内存子系统错误的检测率达到100%，所有检测结果均无误报。

ABSTRACT

Processor design validation and debug is a difficult and complex task, which consumes the lion's share of the design process. Design bugs that affect processor performance rather than its functionality are especially difficult to catch, particularly in new microarchitectures. This is because, unlike functional bugs, the correct processor performance of new microarchitectures on complex, long-running benchmarks is typically not deterministically known. Thus, when performance benchmarking new microarchitectures, performance teams may assume that the design is correct when the performance of the new microarchitecture exceeds that of the previous generation, despite significant performance regressions existing in the design. In this work, we present a two-stage, machine learning-based methodology that is able to detect the existence of performance bugs in microprocessors. Our results show that our best technique detects 91.5% of microprocessor core performance bugs whose average IPC impact across the studied applications is greater than 1% versus a bug-free design with zero false positives. When evaluated on memory system bugs, our technique achieves 100% detection with zero false positives. Moreover, the detection is automatic, requiring very little performance engineer time.

研究动机与目标

• 解决在微处理器中检测性能错误这一关键挑战，此类错误难以识别，原因在于缺乏确定性的性能基准真相。
• 克服以往工作中依赖人工性能验证和易出错的参考建模方法的局限性。
• 开发一种自动化、可扩展的方法，减少对专家时间的依赖，并加速预硅和后硅验证流程。
• 实现对性能回归的早期检测，这些回归原本可能被代际性能提升所掩盖。
• 在无需为每个设计重新训练模型的前提下，将检测方法推广至多个微架构。

提出的方法

• 在已知无错误的旧型微架构上收集的性能计数器轨迹上训练机器学习模型，以预测基线IPC。
• 使用正交探针——特定性能计数器子集——构建独立的IPC估计模型，从而提高模型的特异性和准确性。
• 将训练好的模型应用于新微架构的仿真中，以预测在正常条件下的预期IPC。
• 将预测的IPC与实际仿真得到的IPC进行比较；显著偏差表明可能存在性能错误。
• 采用两阶段检测流程：首先通过IPC预测误差识别异常工作负载；其次通过探针级别分析验证并分类异常。
• 利用模型可解释性识别与检测到的错误相关的计数器模式和指令级特征，有助于定位根本原因。

实验结果

研究问题

• RQ1 在旧型微架构上训练的机器学习模型能否准确预测新微架构的预期IPC，从而实现性能错误检测？
• RQ2 基于性能计数器的模型在多大程度上能够检测出被代际性能提升所掩盖的性能回归？
• RQ3 两阶段检测流程在识别性能错误方面有多高效，且误报极少？
• RQ4 该方法是否能跨不同微架构泛化，并检测出核心与内存子系统中的性能错误？
• RQ5 探针级别模型特征和计数器相关性在缩小潜在错误位置方面起到什么作用？

主要发现

• 所提出的方法能够检测出91.5%的微处理器核心性能错误，其IPC影响超过无错误设计的1%，且无任何误报。
• 对于内存子系统错误，检测率高达100%，且无任何误报，显示出在关键子系统中的高度可靠性。
• 通过使用正交、探针特定的模型，该方法实现了高精度的IPC估计，优于以往功耗预测工作中使用的通用模型。
• 该方法完全自动化，几乎无需性能工程师干预，与人工分析相比显著减少了调试时间。
• 该技术可跨微架构泛化，使得在旧设计上训练的模型可直接用于新设计，无需重新训练。
• 模型可解释性有助于识别触发探针中常见的特征（如指令类型、内存访问模式），从而辅助定位根本原因。