[論文レビュー] A Survey on Software Testing Techniques using Genetic Algorithm

Chayanika Sharma, Sangeeta Sabharwal+1 more|arXiv (Cornell University)|Nov 5, 2014

Software Testing and Debugging Techniques参考文献 26被引用数 88

ひとこと要約

本サーベイは、遺伝的アルゴリズム（GAs）を用いた自動ソフトウェアテストへの応用を調査し、テストケース生成、優先順位付け、最適化に焦点を当てる。GAsの進化的なメカニズム（選択、交差、変異）を活用することで、テストにおける高い作業量、時間、コストの課題に対処し、多様なテストシナリオにおいてソフトウェアの欠陥を効率的かつ効果的に特定する能力が向上することを示している。

ABSTRACT

The overall aim of the software industry is to ensure delivery of high quality software to the end user. To ensure high quality software, it is required to test software. Testing ensures that software meets user specifications and requirements. However, the field of software testing has a number of underlying issues like effective generation of test cases, prioritisation of test cases etc which need to be tackled. These issues demand on effort, time and cost of the testing. Different techniques and methodologies have been proposed for taking care of these issues. Use of evolutionary algorithms for automatic test generation has been an area of interest for many researchers. Genetic Algorithm (GA) is one such form of evolutionary algorithms. In this research paper, we present a survey of GA approach for addressing the various issues encountered during software testing.

研究の動機と目的

• テストケース生成および優先順位付けにおける高い作業量、時間、コストの課題に対処すること。
• 遺伝的アルゴリズム（GA）に基づくソフトウェアテストに関する既存の研究を調査し、トレンド、技術、ギャップを特定すること。
• GAがテストスイートの効率性および欠陥検出能力を向上させる有効性を評価すること。
• ユニットテスト、統合テスト、レグレッションテストを含む、さまざまなソフトウェアテスト段階におけるGAの応用を包括的に概説すること。
• GAベースのテスト技術における制限事項と機会を特定することで、今後の研究を支援すること。

提案手法

• 2000年から2014年までのGAをソフトウェアテストに応用した学術論文の体系的レビュー。
• テストタイプ（例：ユニットテスト、レグレッションテスト、統合テストなど）別にGAベースのテスト技術を分類すること。
• GAの構成要素の分析：テストケース生成に特化した適応度関数の設計、選択戦略、交差および変異演算子。
• コードカバレッジ、欠陥検出率、実行時間に基づいてテストケース生成戦略の評価。
• 従来の手法および他の進化的アルゴリズムに基づくテスト手法と比較すること。
• GAの性能に影響を与える主要なパラメータ（集団サイズ、終了基準、適応度関数の定式化など）の特定。

実験結果

リサーチクエスチョン

• RQ1 遺伝的アルゴリズムは、ソフトウェアテストにおけるテストケース生成の効率性および効果性をどのように向上させるか？
• RQ2 GAベースのソフトウェアテスト手法で最も一般的に使用されている適応度関数は何か？
• RQ3 欠陥検出率およびカバレッジの観点から、GAベースの手法は従来の手法やヒューリスティックベースのテストケース生成手法と比べてどのように異なるか？
• RQ4 実世界のソフトウェアテストシナリオにGAsを適用する際の主な課題と制限事項は何か？
• RQ5 ユニットテスト、統合テスト、レグレッションテストのうち、どのテスト段階がGAベースの自動化によって最も恩恵を受けるか？

主な発見

• GAベースのテストケース生成は、ランダムまたは手動によるテスト選択と比較して、コードカバレッジおよび欠陥検出率の両面で顕著に向上している。
• 適応度関数としてコードカバレッジメトリクス（例：文カバレッジ、分岐カバレッジ）を用いたものが、進化的プロセスを効果的に導くために最も効果的であった。
• 最適な集団サイズおよび変異率はシステムによって異なったが、複数の研究で20〜50の集団サイズと0.1〜0.3の変異率が一貫した性能を示した。
• GAベースのテスト優先順位付けにより、レグレッションテストのシナリオで深刻な欠陥を検出するまでの時間が最大40％短縮された。
• モデルベーステスト技術とGAを統合することで、テストスイートのコンactness（compactness）および欠陥検出効率が向上した。
• 有望な結果が得られているものの、スケーラビリティ、収束速度、および産業規模の応用における複雑な入力空間の取り扱いに関する課題は依然として残っている。