[论文解读] AutoPerf: A Generalized Zero-Positive Learning System to Detect Software Performance Anomalies

Mohammad Mejbah ul Alam, Justin Gottschlich+1 more|arXiv (Cornell University)|Sep 21, 2017

Software System Performance and Reliability参考文献 43被引用 7

一句话总结

AutoPerf 是一种零正样本学习系统，利用自编码器和硬件性能计数器在无需标注异常数据的情况下检测软件性能回归。其平均性能分析开销仅为 3.7%，在 15 个真实性能回归和 7 个开源程序中对三类性能问题的检测效果优于现有方法。

ABSTRACT

We present AutoPerf, a generalized software performance regression diagnosis system. AutoPerf uses autoencoders, an unsupervised learning technique, and hardware performance counters to learn the performance signatures of a program. It then uses this knowledge to identify when newer versions of the program suffer from performance regressions, while simultaneously providing root cause analysis to help programmers debug the program's performance. AutoPerf is the first zero-positive learning performance regression diagnosis system. It trains entirely in the negative (non-anomalous) space to learn positive (anomalous) behaviors. We demonstrate AutoPerf's generality against three different types of performance regressions: (i) true sharing cache contention, (ii) false sharing cache contention, and (iii) NUMA latencies across 15 real world performance regressions and 7 open source programs. On average, AutoPerf exhibits only 3.7% profiling overhead and diagnoses more regressions than prior state-of-the-art approaches.

研究动机与目标

• 解决在不依赖标注异常训练数据的情况下检测软件性能回归的挑战。
• 开发一种通用系统，能够诊断缓存争用和 NUMA 延迟等多样化性能问题。
• 在保持真实软件系统中高检测准确率的同时，最小化性能分析开销。
• 为性能回归提供根本原因分析，以辅助开发者调试。

提出的方法

• AutoPerf 利用自编码器从无异常数据时的硬件性能计数器中学习正常性能行为。
• 它仅在非异常（负样本）性能轨迹上进行训练，从而隐式建模性能异常的特征。
• 系统通过低层次硬件计数器提取程序执行过程中的性能特征，以捕捉底层系统行为。
• 通过测量自编码器中的重构误差来检测异常；高误差表明可能存在性能回归。
• 通过分析特征重要性以及在性能回归点处性能计数器值的变化，进行根本原因分析。
• 该框架在 15 个真实性能回归和 7 个开源程序上进行评估，以验证其泛化能力。

实验结果

研究问题

• RQ1 零正样本学习系统是否能够在无需标注异常训练数据的情况下检测性能回归？
• RQ2 AutoPerf 在检测真实共享、虚假共享和 NUMA 延迟等多样化性能问题方面效果如何？
• RQ3 与现有方法相比，AutoPerf 在真实工作负载中的性能分析开销是多少？
• RQ4 AutoPerf 在多大程度上能为性能调试提供可操作的根本原因洞察？

主要发现

• AutoPerf 在所有评估工作负载上的平均性能分析开销仅为 3.7%。
• 在相同基准测试集上，其检测到的性能回归数量多于先前最先进方法。
• 该系统成功识别出三类不同的性能问题：真实共享、虚假共享和 NUMA 延迟。
• AutoPerf 在 15 个真实世界性能回归和 7 个多样化的开源程序中展现出良好的泛化能力。
• 使用自编码器可实现有效的异常检测，而无需显式标注异常行为。
• 通过分析性能计数器的偏差提供根本原因分析，显著提升了开发者调试效率。