[論文レビュー] Towards Automated Performance Bug Identification in Python

Sokratis Tsakiltsidis, Andriy Miranskyy+1 more|arXiv (Cornell University)|Jul 28, 2016

Software Engineering Research参考文献 39被引用数 8

ひとこと要約

本論文は、静的コード属性を用いて開発の初期段階でPythonコード内のパフォーマンスバグを検出する機械学習的手法を提案する。変更された行数、ファイルの年齢、ファイルサイズなどのコミットレベルのメトリクスを用いてモデルを学習させたところ、C4.5意思決定木はパフォーマンスバグの予測において96%の精度、85%の正解率、73%の再現率を達成した。これは、機能的欠陥の予測手法が非機能的パフォーマンス問題に対しても効果的に応用可能であることを示している。

ABSTRACT

Context: Software performance is a critical non-functional requirement, appearing in many fields such as mission critical applications, financial, and real time systems. In this work we focused on early detection of performance bugs; our software under study was a real time system used in the advertisement/marketing domain. Goal: Find a simple and easy to implement solution, predicting performance bugs. Method: We built several models using four machine learning methods, commonly used for defect prediction: C4.5 Decision Trees, Na\"ıve Bayes, Bayesian Networks, and Logistic Regression. Results: Our empirical results show that a C4.5 model, using lines of code changed, file's age and size as explanatory variables, can be used to predict performance bugs (recall=0.73, accuracy=0.85, and precision=0.96). We show that reducing the number of changes delivered on a commit, can decrease the chance of performance bug injection. Conclusions: We believe that our approach can help practitioners to eliminate performance bugs early in the development cycle. Our results are also of interest to theoreticians, establishing a link between functional bugs and (non-functional) performance bugs, and explicitly showing that attributes used for prediction of functional bugs can be used for prediction of performance bugs.

研究の動機と目的

• リアルタイムシステムにおけるパフォーマンスバグの検出が遅く、是正コストが高いという課題に対処すること。
• 静的コード解析およびリポジトリメトリクスが、機能的欠陥予測と同様にパフォーマンスバグを予測できるかどうかを調査すること。
• Pythonアプリケーションにおいてパフォーマンスバグの注入に関連する主要なコード属性を特定すること。
• 継続的インテグレーション（CI）におけるパフォーマンスレグレッションを防ぐために、軽量で早期警告を提供するシステムを提供すること。

提案手法

• 3年間のリアルタイム入札（RTB）システムから2,800件のファイルコミットを収集し、静的コードおよびコミットレベルの属性を抽出した。
• 属性をプロジェクト、活動、経験の3グループに分類し、変更された行数、ファイルの年齢、ファイルサイズ、コミット頻度を含めた。
• データを前処理し、4つの機械学習モデル（C4.5意思決定木、ナイーブベイズ、ベイジアンネットワーク、ロジスティック回帰）を学習させた。
• 標準的な指標（精度、再現率、正解率）を用いてモデルのパフォーマンスを評価し、各モデルの特徴量の重要度を分析した。
• Pythonにおける11のパフォーマンス最適化パターン（例：繰り返しのメソッド検索を避ける、インプレース演算を使用する）を特定し、文書化した。
• パターンを用いてモデルの予測を検証し、将来の静的解析ルール開発の指針とした。

実験結果

リサーチクエスチョン

• RQ1 静的コード解析およびリポジトリメトリクスは、Pythonアプリケーションにおけるパフォーマンスバグを予測できるか？
• RQ2 コミットレベルの属性を用いた場合、どの機械学習モデルがパフォーマンスバグの予測において最も優れた性能を示すか？
• RQ3 変更された行数やファイルの年齢などのコード属性の中で、パフォーマンスバグの注入を最も効果的に予測できるものは何か？
• RQ4 一般的なパフォーマンス最適化パターンを自動的に検出できるか？また、それらを予測モデルの改善に活用できるか？

主な発見

• C4.5意思決定木モデルが最も優れたパフォーマンスを示し、変更された行数、ファイルの年齢、ファイルサイズを予測変数として使用したところ、96%の精度、85%の正解率、73%の再現率を達成した。
• コミットあたりの変更数を減らすことで、パフォーマンスバグの注入確率が著しく低下することが分かった。
• 機能的欠陥予測に用いられる属性（例：コードチェンジ、ファイルの年齢）がパフォーマンスバグの予測にも有効であることが確認され、機能的欠陥と非機能的欠陥の予測の間に関連性があることが示された。
• 最良のモデルは、多くの行が変更された（高いコードチェンジ）ことがパフォーマンスバグの注入と強く関連していることを特定した。
• 本研究では、Pythonにおける再利用可能な11のパフォーマンス最適化パターン（例：ループの代わりに`map()`を使用する、メソッドの検索結果をキャッシュする）を同定した。これらのパターンは静的解析の指針として活用できる。
• 結果から、パフォーマンスバグ検出をCI/CDパイプラインの初期段階に統合可能であり、高価なランタイムプロファイリングの必要性を減らせることが示唆された。