[論文レビュー] Assessing and Improving the Mutation Testing Practice of PIT

Thomas Laurent, Anthony Ventresque+4 more|arXiv (Cornell University)|Jan 1, 2015

Software Testing and Debugging Techniques参考文献 37被引用数 4

ひとこと要約

この論文は、文献および専門家知識に基づいて導出された包括的ミューテントと比較することで、広く使用されているミューテーションテストツールPITの評価を行う。包括的ミューテントはPITのミューテントよりも著しく殺しにくく、11%から62%のJavaクラスでPITが見逃す欠陥を捉えていることが判明し、PITのミューテーションカバレッジと効果の面で深刻な制限が明らかになった。

ABSTRACT

Mutation testing is used extensively to support the experimentation of software engineering studies. Its application to real-world projects is possible thanks to modern tools that automate the whole mutation analysis process. However, popular mutation testing tools use a restrictive set of mutants which do not conform to the community standards as supported by the mutation testing literature. This can be problematic since the effectiveness of mutation depends on its mutants. We therefore examine how effective are the mutants of a popular mutation testing tool, named PIT, compared to comprehensive ones, as drawn from the literature and personal experience. We show that comprehensive mutants are harder to kill and encode faults not captured by the mutants of PIT for a range of 11% to 62% of the Java classes of the considered projects.

研究の動機と目的

• 実世界のJavaプロジェクトにおける意味のあるミューテントを生成する能力を、人気のあるミューテーションテストツールPITの有効性を評価すること。
• 確立されたミューテーションテストの文献および専門家の経験に基づいて導出された包括的ミューテントとPITのミューテントセットを比較すること。
• PITの制限されたミューテント生成戦略によって、どの程度の欠陥が検出されないかを特定すること。
• 実世界のソフトウェアにおいて、PITのミューテント選択がミューテーションテストの有効性を損なうという実証的証拠を提供すること。

提案手法

• 本研究は、オープンソースリポジトリから11のJavaプロジェクトを選定し、ミューテーションテストの有効性を評価する。
• 包括的ミューテントは、ミューテーションテストの文献および専門家の知識に基づいて手動で生成され、より広範な欠陥スペクトルを反映している。
• PITのミューテントは、同じプロジェクトに対して標準設定で自動的に生成された。
• 両方のミューテントセットの殺しやすさは、テストスイートを実行することで測定され、テストによって殺されたミューテントは有効とされる。
• PITと包括的ミューテントセットの間で殺されたミューテントの重複と差異を分析し、カバレッジのギャップを評価する。
• 統計的分析により、包括的ミューテントがPITに検出されない欠陥を捉えるクラスの割合を定量化する。

実験結果

リサーチクエスチョン

• RQ1 実世界のJavaプロジェクトにおける欠陥検出能力について、PITのミューテントは包括的ミューテントと比べてどの程度有効か？
• RQ2 PITの制限されたミューテント生成によって、どの程度の欠陥が検出されないか？
• RQ3 どの種類の欠陥が包括的ミューテントによってのみ捉えられ、PITによっては捉えられないか？
• RQ4 PITのミューテント選択戦略は、ミューテーションテストの有効性をどの程度損なっているか？

主な発見

• 包括的ミューテントはPITのミューテントよりも著しく殺しにくく、より複雑で現実的である欠陥を表していることが示された。
• 分析されたJavaクラスの11%から62%の範囲で、包括的ミューテントはPITのミューテントが捉えられない欠陥を検出している。
• PITと包括的ミューテントの間の欠陥検出ギャップは、複雑な論理構造や制御フローを有するクラスで顕著に現れた。
• PITのミューテント選択戦略は、ミューテーションテストの文献でよく知られた欠陥タイプを省いているため、全体的な有効性が低下している。
• 本研究は、PITの制限されたミューテントセットが、テストスイートの品質を不完全に評価することを示した。
• 結果は、現在のミューテーションテスト実践における深刻なギャップを浮き彫りにした。ツールの制限が、研究者や実務家がテストの有効性について誤解を招く原因となっている。