[論文レビュー] An Empirical Analysis of the Influence of Fault Space on Search-Based Automated Program Repair

Ming Wen, Junjie Chen+3 more|arXiv (Cornell University)|Jul 17, 2017

Software Testing and Debugging Techniques参考文献 49被引用数 26

ひとこと要約

本研究では、故障空間の正確さが探索ベース自動プログラム修復（APR）に与える影響を実証的に調査し、故障空間の正確さが高まれば、GenProg などの APR ツールの有効性と効率性が顕著に向上することを明らかにした。また、故障空間の品質を予測するのに最も適した指標として、ネガティブなミューテーションカバレッジを同定し、自動生成されたテストケースが故障空間の正確さと APR のパフォーマンスを向上させることを示した。

ABSTRACT

Automated program repair (APR) has attracted great research attention, and various techniques have been proposed. Search-based APR is one of the most important categories among these techniques. Existing researches focus on the design of effective mutation operators and searching algorithms to better find the correct patch. Despite various efforts, the effectiveness of these techniques are still limited by the search space explosion problem. One of the key factors attribute to this problem is the quality of fault spaces as reported by existing studies. This motivates us to study the importance of the fault space to the success of finding a correct patch. Our empirical study aims to answer three questions. Does the fault space significantly correlate with the performance of search-based APR? If so, are there any indicative measurements to approximate the accuracy of the fault space before applying expensive APR techniques? Are there any automatic methods that can improve the accuracy of the fault space? We observe that the accuracy of the fault space affects the effectiveness and efficiency of search-based APR techniques, e.g., the failure rate of GenProg could be as high as $60\%$ when the real fix location is ranked lower than 10 even though the correct patch is in the search space. Besides, GenProg is able to find more correct patches and with fewer trials when given a fault space with a higher accuracy. We also find that the negative mutation coverage, which is designed in this study to measure the capability of a test suite to kill the mutants created on the statements executed by failing tests, is the most indicative measurement to estimate the efficiency of search-based APR. Finally, we confirm that automated generated test cases can help improve the accuracy of fault spaces, and further improve the performance of search-based APR techniques.

研究の動機と目的

• 故障空間の正確さと探索ベース APR 技術のパフォーマンスとの相関関係を調査すること。
• 高価な修復試行の前に、探索ベース APR の効率性を予測できる測定可能な指標を同定すること。
• 自動生成されたテストケースが故障空間の正確さを向上させ、結果として APR の有効性を向上させることを評価すること。
• 故障空間の品質が探索空間の爆発的増加とパッチ発見成功に与える影響について、実証的証拠を提供すること。

提案手法

• 本研究では、異なるテストスイートから得られる故障空間を評価するために、GenProg を探索ベース APR エンジンとして用いた。
• 故障局所化技術を用いて故障空間を生成し、疑わしいコード要素の順序付きリストをミューテーションベースのパッチ生成のための探索空間として用いた。
• ネガティブなミューテーションカバレッジを、失敗テストで実行されたステートメント上でミューテーションを殺せるテストスイートの能力を測る新しい指標として導入した。
• EvoSuite などのツールを用いた自動テストケース生成により、テストスイートを拡張し、故障空間の品質を向上させた。
• 実証的評価では、異なる正確さを持つ故障空間におけるパッチ発見成功確率と検索試行回数を比較した。
• 統計的分析を用いて、故障空間の正確さ、テストスイートのカバレッジ、および APR パフォーマンス指標との相関関係を評価した。

実験結果

リサーチクエスチョン

• RQ1 故障空間の正確さは、探索ベース APR のパフォーマンスと顕著に相関しているか？
• RQ2 故障空間の正確さに基づいて、探索ベース APR の効率性を予測できる測定可能な指標は存在するか？
• RQ3 自動生成されたテストケースは、故障空間の正確さを向上させ、探索ベース APR のパフォーマンスを向上させることができるか？

主な発見

• GenProg の失敗率は、正しい修正位置が故障空間内で10位未満にランク付けされている場合、60％に達することがある。これは、正しいパッチが探索空間内に存在する場合でも同様である。
• 故障空間の正確さが高ければ高いほど、GenProg はより多くの正しいパッチを発見し、より少ない検索試行回数で到達する。これは、故障空間の品質と APR 効率との間の直接的な相関関係を示している。
• ネガティブなミューテーションカバレッジは、故障空間の正確さを推定するのに最も適した指標であり、他のカバレッジベースの測定値よりも APR パフォーマンスの予測において優れている。
• 自動生成されたテストケースは、故障空間の正確さを顕著に向上させ、結果として探索ベース APR 技術のパフォーマンスを向上させた。
• 特に失敗テストパス上でミューテーションを殺せるかどうかというテストスイートの十分性は、探索ベース APR の成功に強く相関している。
• 本研究では、故障空間の品質が、探索ベース APR における探索空間の爆発的増加問題を緩和する上で極めて重要な要因であることを確認した。