[論文レビュー] Machine Learning Techniques for Software Quality Assurance: A Survey

Safa Omri, Carsten Sinz|arXiv (Cornell University)|Apr 29, 2021

Software Engineering Research参考文献 78被引用数 8

ひとこと要約

本調査は、バグ予測とテストケース優先順位付けに焦点を当てたソフトウェア品質保証における機械学習技術をレビューする。深層学習がコードの意味的特徴を捉えることでバグ予測の精度が向上することを強調し、ニューラルネットワークやベイジアンネットワークなどの機械学習手法が、高いバグ検出率を維持しながらテストケース優先順位付けの効率を顕著に向上させることを示している。

ABSTRACT

Over the last years, machine learning techniques have been applied to more and more application domains, including software engineering and, especially, software quality assurance. Important application domains have been, e.g., software defect prediction or test case selection and prioritization. The ability to predict which components in a large software system are most likely to contain the largest numbers of faults in the next release helps to better manage projects, including early estimation of possible release delays, and affordably guide corrective actions to improve the quality of the software. However, developing robust fault prediction models is a challenging task and many techniques have been proposed in the literature. Closely related to estimating defect-prone parts of a software system is the question of how to select and prioritize test cases, and indeed test case prioritization has been extensively researched as a means for reducing the time taken to discover regressions in software. In this survey, we discuss various approaches in both fault prediction and test case prioritization, also explaining how in recent studies deep learning algorithms for fault prediction help to bridge the gap between programs' semantics and fault prediction features. We also review recently proposed machine learning methods for test case prioritization (TCP), and their ability to reduce the cost of regression testing without negatively affecting fault detection capabilities.

研究の動機と目的

• ソフトウェア品質保証における機械学習の応用、特にバグ予測とテストケース優先順位付けの分野における最新技術の分析。
• 従来の特徴ベースのバグ予測における限界、特に構造が類似しているが意味的差異を有するコードを捉えられないことの特定。
• 深層学習が、バグ予測の精度を向上させるために、ソースコードから意味的特徴を学習する有効性の評価。
• リグレッションテストのコストを削減しつつ、バグ検出率を損なわずに、テストケース優先順位付けに用いられる機械学習手法の有効性の評価。

提案手法

• バグ予測とテストケース優先順位付けに焦点を当てた、100件以上のソフトウェア品質保証における機械学習関連研究の体系的レビュー。
• バグ予測に用いられる従来の特徴（例：コードの複雑さ、変更頻度、プロセスメトリクス）の分類と、意味的特徴を捉えられないことの限界の特定。
• 自動エンコーダーやRNN、コード埋め込みなどの深層学習モデルが、ソースコードから意味的表現を学習し、特徴の識別能を向上させる評価。
• ニューラルネットワーク、ベイジアンネットワーク、遺伝的アルゴリズム、強化学習を含む、テストケース優先順位付けにおける機械学習手法のサーベイ。
• 履歴的な障害データ、実行カバレッジ、またはバグ検出可能性に基づいてテストケースをランク付けするための代替関数（surrogate functions）の分析。
• 分類アルゴリズム（SVM、ナイーブベイズ、KNN、ロジスティック回帰）とクラスタリング手法（k-means）が、テストケースの優先順位付けに与える影響の比較。

実験結果

リサーチクエスチョン

• RQ1 従来のソフトウェアメトリクスは、障害を起こしやすいモジュールを予測する上でどの程度有効であり、構造が同一でも意味的差異を有するコードを捉えられないという限界は何か？
• RQ2 深層学習モデルは、ソースコードから意味的表現を学習することで、バグ予測の精度をどの程度向上させることができるか？
• RQ3 リグレッションテスト時間の短縮を図る上で、どの機械学習手法がテストケース優先順位付けにおいて最も効果的か？
• RQ4 テストケース優先順位付けにおける代替関数は、実際のバグ検出効果とどの程度相関しているか？
• RQ5 静的解析、コードメトリクス、および機械学習を組み合わせたハイブリッド手法は、予測精度を向上させることができるか？

主な発見

• コードの複雑さや変更頻度といった従来のバグ予測特徴量は、構文的に同一でも意味的に異なるコードを区別できないため、予測精度に制限を受ける。
• 深層学習モデルは、ソースコードから意味的表現を学習することで、構文的に類似しているが機能的に異なるコード領域の識別能を著しく向上させ、バグ予測の精度を向上させる。
• ニューラルネットワークとベイジアンネットワークは、バグ検出速度とカバレッジの両面で、従来手法を上回る効果を示すテストケース優先順位付けの主要な手法である。
• 強化学習とアクティブラーニングのアプローチは、リソース制約下でもバグ検出を最大化する適応的テストケース順序を生成する上で有望である。
• 静的解析の結果と機械学習特徴を組み合わせたハイブリッドモデルは、コードメトリクスのみを用いたモデルよりも、リリース前のバグ予測において高い精度を達成する。
• 遺伝的アルゴリズムやクラスタリングベースの手法は、計算負荷の高い大規模なテストスイートにおいて、スケーラブルな代替手法を提供する。