[论文解读] How is Performance Addressed in DevOps? A Survey on Industrial Practices

Cor‐Paul Bezemer, Simon Eismann+9 more|arXiv (Cornell University)|Aug 21, 2018

Software System Performance and Reliability参考文献 11被引用 10

一句话总结

本文对工业领域DevOps实践中性能工程的现状进行了综述，发现性能评估很少被整合进CI/CD流水线，且通常仅零星进行。研究发现，工具复杂性和与现有DevOps工作流的集成度差是主要障碍，因此建议采用轻量级、易于集成且学习曲线平缓的性能工具。

ABSTRACT

DevOps is a modern software engineering paradigm that is gaining widespread adoption in industry. The goal of DevOps is to bring software changes into production with a high frequency and fast feedback cycles. This conflicts with software quality assurance activities, particularly with respect to performance. For instance, performance evaluation activities -- such as load testing -- require a considerable amount of time to get statistically significant results. We conducted an industrial survey to get insights into how performance is addressed in industrial DevOps settings. In particular, we were interested in the frequency of executing performance evaluations, the tools being used, the granularity of the obtained performance data, and the use of model-based techniques. The survey responses, which come from a wide variety of participants from different industry sectors, indicate that the complexity of performance engineering approaches and tools is a barrier for wide-spread adoption of performance analysis in DevOps. The implication of our results is that performance analysis tools need to have a short learning curve, and should be easy to integrate into the DevOps pipeline.

研究动机与目标

• 了解工业DevOps环境中如何处理性能问题。
• 识别DevOps中性能工程实践采纳的主要障碍。
• 调查DevOps流水线中性能评估的频率、工具、数据粒度及模型使用情况。
• 为研究人员和实践者提供可操作的见解，以改善性能工程在DevOps中的集成。

提出的方法

• 针对工业DevOps环境中的实践者开展了一项跨行业的调查。
• 调查收集了关于性能评估频率、工具使用、数据粒度及基于模型的技术的信息。
• 通过多种渠道收集反馈，以最小化选择偏差并确保行业代表性广泛。
• 对封闭式调查问题的回答进行了定量和定性分析，以识别趋势与挑战。
• 研究聚焦于持续集成与部署流水线中的实际实践。
• 研究结果通过主题分析进行验证，并与现有DevOps及性能工程文献交叉对照。

实验结果

研究问题

• RQ1 在工业DevOps环境中，性能评估的执行频率如何？
• RQ2 在DevOps流水线中，最常使用的性能评估工具是什么？
• RQ3 在工业DevOps环境中，收集的性能数据的典型粒度是什么？
• RQ4 在工业DevOps实践中，基于模型的性能工程技术被采纳的程度如何？

主要发现

• 受访者的三分之二不经常进行性能评估。
• 在那些进行评估的受访者中，有50%用于性能相关活动的时间不足总工作时间的5%。
• Jenkins是使用最广泛的CI/CD工具，但其流水线中极少实现性能评估的自动化或集成。
• DevOps流水线中使用性能模型的情况极为罕见，表明基于模型的方法采纳程度很低。
• 许多实践者依赖手动分析和‘人类直觉’来诊断性能问题，通常使用SSH和系统工具等基础工具。
• 性能工程工具与现有DevOps工具链的集成度不高，尽管APM工具具有降低入门门槛的潜力，但其采用率仍不广泛。