[論文レビュー] Spectrum-based Software Fault Localization: A Survey of Techniques, Advances, and Challenges

Higor Amario de Souza, Marcos Lordello Chaim+1 more|arXiv (Cornell University)|Jul 15, 2016

Software Testing and Debugging Techniques参考文献 167被引用数 66

ひとこと要約

本サーベイは、2005年から2017年10月までのスペクトルベースソフトウェア故障局所化（SFL）手法について包括的な分析を提供し、その手法、スペクトル、故障の取り扱い、ベンチマークプログラム、テストデータ、産業応用可能性を評価している。主な進展として、実世界のプログラムにおける故障局所化の向上と、不審度順位の強化が挙げられるが、複数の故障の処理、精度とコストのバランス、実世界への導入を支援するためのユーザー研究の不足といった課題も浮き彫りにしている。

ABSTRACT

Despite being one of the most basic tasks in software development, debugging is still performed in a mostly manual way, leading to high cost and low performance. To address this problem, researchers have studied promising approaches, such as Spectrum-based Fault Localization (SFL) techniques, which pinpoint program elements more likely to contain faults. This survey discusses the state-of-the-art of SFL, including the different techniques that have been proposed, the type and number of faults they address, the types of spectra they use, the programs they utilize in their validation, the testing data that support them, and their use at industrial settings. Notwithstanding the advances, there are still challenges for the industry to adopt these techniques, which we analyze in this paper. SFL techniques should propose new ways to generate reduced sets of suspicious entities, combine different spectra to fine-tune the fault localization ability, use strategies to collect fine-grained coverage levels from suspicious coarser levels for balancing execution costs and output precision, and propose new techniques to cope with multiple-fault programs. Moreover, additional user studies are needed to understand better how SFL techniques can be used in practice. We conclude by presenting a concept map about topics and challenges for future research in SFL.

研究の動機と目的

• 2005年から2017年10月までのスペクトルベース故障局所化（SFL）手法について、包括的かつ最新のサーベイを提供すること。
• SFL分野の最新動向を分析し、手法、スペクトル、故障の特性、ベンチマークプログラム、および評価に用いられるテストデータを含めること。
• 産業的導入を妨げる主な課題を特定・議論すること。具体的には、複数の故障の処理、実行コストと精度のバランス、ユーザー研究の不足といった点。
• 今後の研究方向性を提案すること。具体的には、複数のスペクトルの統合、不審な要因の削減されたセットの生成、実世界のプログラムデバッグにおける支援の向上。
• SFL研究におけるコアトピックと課題の間の関係を可視化する概念マップを提示すること。

提案手法

• 2005年から2017年10月までのSFL研究を特定するため、体系的文献レビューとスノーボール手法を採用。
• デバッグ支援戦略およびコア研究トピックとの関連性に基づいて、SFL手法を分類。
• 使用されたスペクトルタイプ（例：制御フローやデータフロー、ステートメントレベル、述語レベル）の分析と、故障局所化の正確性への影響の評価。
• SFL手法の実験的妥当性検証に用いられたベンチマークプログラム、故障タイプ、テストデータの評価。
• 実用的導入状況の評価（ユーザー研究や産業内での導入）および実世界応用におけるギャップの特定。
• SFL分野におけるトピック、サブトピック、研究課題の関係を可視化する概念マップの開発。

実験結果

リサーチクエスチョン

• RQ1 2005年から2017年までの間に提案された代表的なSFL手法は何か。また、故障局所化のアプローチにおいて、それらはどのように異なるか？
• RQ2 制御フロー、データフローなどの異なるタイプのスペクトルは、故障局所化の正確性と効率にどのように影響するか？
• RQ3 現在のSFL手法が、特に複数の故障や複雑な相互作用を有する実世界のソフトウェアを処理する上で直面する主な制限は何か？
• RQ4 なぜSFL手法の産業的導入は依然として限定的なのか。ソフトウェア開発ワークフローへの統合を妨げる要因は何か？
• RQ5 今後の研究方向性として、実用性、正確性、スケーラビリティを向上させるにはどのようなアプローチが有効か？

主な発見

• 最近のSFL手法は、小さな単一故障ベンチマークをはるかに超えて、実世界のプログラムにおいても有効性を示している。
• 制御フローとデータフローといった複数のスペクトルを統合する手法は、故障局所化の正確性を向上させる可能性を示しているが、計算コストが高くなる傾向にある。
• 不審な要因のセットを縮小する傾向が高まっており、一部の手法では上位順位の結果で高い故障局所化正確性を達成している。
• 粗いレベルのスペクトルを活用した細粒度のカバレッジ収集戦略は、実行コストと出力正確性のバランスを取るのに役立つが、さらなる検討が必要である。
• 現在のSFL手法は、故障の相互作用や未知の故障数がある複数故障プログラムでは困難を抱えている。
• 実開発環境におけるSFLのユーザー研究は依然として稀であり、開発者が実際にSFLの推奨をどのように利用し、どのような利益を得ているかの理解が不十分である。