[論文レビュー] How is Performance Addressed in DevOps? A Survey on Industrial Practices

Cor‐Paul Bezemer, Simon Eismann+9 more|arXiv (Cornell University)|Aug 21, 2018

Software System Performance and Reliability参考文献 11被引用数 10

ひとこと要約

本論文は、パフォーマンス工学に関する産業的DevOps実践のサーベイを提示しており、パフォーマンス評価がCI/CDパイプラインにほとんど統合されておらず、しばしば断続的に行われていることが明らかになった。研究では、ツールの複雑さと既存のDevOpsワークフローとの統合の悪さが主な障壁であると判明し、学習曲線が低く、簡単に統合可能な軽量なパフォーマンスツールの導入を提唱している。

ABSTRACT

DevOps is a modern software engineering paradigm that is gaining widespread adoption in industry. The goal of DevOps is to bring software changes into production with a high frequency and fast feedback cycles. This conflicts with software quality assurance activities, particularly with respect to performance. For instance, performance evaluation activities -- such as load testing -- require a considerable amount of time to get statistically significant results. We conducted an industrial survey to get insights into how performance is addressed in industrial DevOps settings. In particular, we were interested in the frequency of executing performance evaluations, the tools being used, the granularity of the obtained performance data, and the use of model-based techniques. The survey responses, which come from a wide variety of participants from different industry sectors, indicate that the complexity of performance engineering approaches and tools is a barrier for wide-spread adoption of performance analysis in DevOps. The implication of our results is that performance analysis tools need to have a short learning curve, and should be easy to integrate into the DevOps pipeline.

研究の動機と目的

• 産業的DevOps環境におけるパフォーマンスの取り扱い方を理解すること。
• DevOpsにおけるパフォーマンス工学実践の導入を妨げる要因を特定すること。
• DevOpsパイプライン内でのパフォーマンス評価における頻度、使用ツール、データの粒度、モデルの使用状況を調査すること。
• 研究者および実務家がDevOpsにおけるパフォーマンス工学の統合を改善するための実行可能なイン사이트を提供すること。

提案手法

• 産業的DevOps環境における実務者を対象に、横断的なサーベイを実施した。
• サーベイは、パフォーマンス評価の頻度、ツール使用状況、データの粒度、モデルベース手法の使用状況に関するデータを収集した。
• 選択バイアスを最小限に抑えるために、多様なチャnelを通じて回答を収集し、広範な業界の代表を確保した。
• 閉形式のサーベイ回答に対して定量的および定性的な分析を実施し、トレンドと課題を特定した。
• 継続的インテグレーションおよびデプロイメントパイプラインにおける実際の実践に焦点を当てた。
• テーマ分析を用いて結果を検証し、DevOpsおよびパフォーマンス工学に関する既存の文献と照合した。

実験結果

リサーチクエスチョン

• RQ1 産業的DevOps環境では、パフォーマンス評価はどの程度の頻度で実施されているか？
• RQ2 DevOpsパイプラインで最も一般的に使用されているパフォーランス評価ツールは何か？
• RQ3 産業的DevOps環境では、通常どの程度の粒度でパフォーマンスデータが収集されているか？
• RQ4 モデルベースのパフォーマンス工学手法は、産業的DevOps実践でどの程度採用されているか？

主な発見

• サーベイ参加者の2分の1以上が、定期的なパフォーマンス評価を実施していない。
• 評価を実施している者の中でも、50％がパフォーマンス関連活動に5％未満の時間を費やしている。
• Jenkinsは最も広く使われているCI/CDツールであるが、パフォーマンス評価はほとんど自動化されておらず、パイプラインに統合されていない。
• DevOpsパイプラインにおけるパフォーマンスモデルの使用は極めて低く、モデルベースアプローチの採用が限定的であることが示された。
• 多くの実務者が、パフォーマンス問題の診断に主に手動分析や「人的直感」に依存しており、SSH やシステムユーティリティなどの基本的なツールを頻用している。
• パフォーマンス工学ツールは、既存のDevOpsツールチェーンと十分に統合されておらず、APMツールはその潜在的利点にもかかわらず、広く採用されていない。