[论文解读] Mantis: Predicting System Performance through Program Analysis and Modeling

Byung-Gon Chun, Ling Huang+3 more|arXiv (Cornell University)|Sep 30, 2010

Software System Performance and Reliability参考文献 26被引用 11

一句话总结

Mantis 是一种新颖的框架，通过结合程序分析与机器学习，从执行轨迹中提取并建模程序特征，实现了超过 93% 的程序性能预测准确率。它利用特征插桩、基于机器学习的特征选择以及程序切片技术，生成轻量级代码片段，以高效计算实时性能预测所需的关键特征。

ABSTRACT

We present Mantis, a new framework that automatically predicts program performance with high accuracy. Mantis integrates techniques from programming language and machine learning for performance modeling, and is a radical departure from traditional approaches. Mantis extracts program features, which are information about program execution runs, through program instrumentation. It uses machine learning techniques to select features relevant to performance and creates prediction models as a function of the selected features. Through program analysis, it then generates compact code slices that compute these feature values for prediction. Our evaluation shows that Mantis can achieve more than 93% accuracy with less than 10% training data set, which is a significant improvement over models that are oblivious to program features. The system generates code slices that are cheap to compute feature values.

研究动机与目标

• 为解决在不依赖黑箱模型或开发者提供的语义信息的情况下，对复杂、大规模程序进行准确性能预测的挑战。
• 从执行轨迹中自动提取能够捕捉程序语义并与其性能度量相关联的有意义程序特征。
• 生成紧凑、高效的代码片段，在预测时计算这些特征，从而最小化运行时开销。
• 在仅依赖输入大小或配置参数的传统黑箱模型基础上，进一步提升预测准确率。
• 实现在数据中心和分布式应用等实际系统中的性能预测技术的实用化部署。

提出的方法

• 对程序进行插桩，以收集广泛的执行特征，包括元数据、控制流模式和数据访问特征。
• 应用机器学习技术——特别是稀疏回归——识别对性能预测最具相关性的特征。
• 利用程序切片生成最小化、高效的代码片段，仅在预测时计算所选特征。
• 将特征选择与切片技术结合，优先选择既具预测性又计算轻量的特征。
• 构建白箱预测模型，利用程序内部语义而非将系统视为黑箱。
• 在真实应用程序（Lucene 和 ImageJ）上评估该框架，仅使用少量训练数据（不足 10%）。

实验结果

研究问题

• RQ1 与黑箱模型相比，从执行轨迹中提取的程序特征是否能显著提升性能预测准确率？
• RQ2 如何自动识别一组最小化但兼具预测性与高效计算能力的特征？
• RQ3 将程序切片与特征选择相结合，对预测模型的效率和准确率有何影响？
• RQ4 基于程序分析的白箱方法是否能在真实应用中超越传统黑箱建模？
• RQ5 该框架在不同类型的程序和工作负载下的可扩展性与通用性如何？

主要发现

• Mantis 仅使用不到 10% 的训练数据，对执行时间的预测准确率超过 93%，显著优于黑箱模型。
• 该框架通过插桩特征利用程序语义，显著降低预测误差，而黑箱模型则因忽略这些语义而表现较差。
• 通过程序切片生成的代码片段极为高效，可在预测时实现快速特征计算，且运行时开销极低。
• 通过稀疏回归进行特征选择，能从大量候选特征中有效识别出最相关的特征。
• 将切片与模型生成相结合，确保仅选择计算轻量的特征，从而提升可部署性。
• 该方法在多样化应用中均表现有效，包括搜索引擎（Lucene）和图像处理工具（ImageJ）。