[論文レビュー] On the Efficiency of Test Suite based Program Repair: A Systematic Assessment of 16 Automated Repair Systems for Java Programs

Kui Liu, Shangwen Wang+8 more|Open Repository and Bibliography (University of Luxembourg)|Aug 3, 2020

Software Testing and Debugging Techniques参考文献 65被引用数 14

ひとこと要約

本論文は、Java用の16種類のオープンソースのテストセットベースのプログラム修復ツールについて、正しいパッチが見つかるまでのパッチ候補の生成数を指標として、その効率性を大規模に実証的に調査している。テンプレートベースのツールは、バグの修復において最も効果的であるが、関係のない候補を多く生成するため、最も非効率であることが明らかになった。これは、自動プログラム修復における効果性と効率性の間の重要なトレードオフを示している。

ABSTRACT

Test-based automated program repair has been a prolific field of research in software engineering in the last decade. Many approaches have indeed been proposed, which leverage test suites as a weak, but affordable, approximation to program specifications. Although the literature regularly sets new records on the number of benchmark bugs that can be fixed, several studies increasingly raise concerns about the limitations and biases of state-of-the-art approaches. For example, the correctness of generated patches has been questioned in a number of studies, while other researchers pointed out that evaluation schemes may be misleading with respect to the processing of fault localization results. Nevertheless, there is little work addressing the efficiency of patch generation, with regard to the practicality of program repair. In this paper, we fill this gap in the literature, by providing an extensive review on the efficiency of test suite based program repair. Our objective is to assess the number of generated patch candidates, since this information is correlated to (1) the strategy to traverse the search space efficiently in order to select sensical repair attempts, (2) the strategy to minimize the test effort for identifying a plausible patch, (3) as well as the strategy to prioritize the generation of a correct patch. To that end, we perform a large-scale empirical study on the efficiency, in terms of quantity of generated patch candidates of the 16 open-source repair tools for Java programs. The experiments are carefully conducted under the same fault localization configurations to limit biases.

研究の動機と目的

• テストセットベースのプログラム修復ツールの効率性を評価すること。ここでの効率性は、正しいパッチが見つかるまでのパッチ候補の生成数で定義される。
• 故障局所化のノイズが、探索空間が制限された場合にパッチ生成の効率性に与える影響を調査すること。
• 16種類のオープンソースAPRツールにおいて、修復の効果性と効率性のトレードオフを評価すること。
• すべてのツールで故障局所化の設定を標準化することで、公平で再現可能なベンチマークを提供すること。
• 産業的導入を考慮するため、修復の効果性を損なわずに効率性を向上させる戦略の改善を呼びかけること。

提案手法

• 偏りを最小限に抑えるために、16種類のオープンソースAPRツールを同一の故障局所化設定で評価した。
• 各ツールに対して、同じテストセットを用いてパッチ候補を生成・検証し、リソースの枯渇を防ぐために固定タイムアウトを設定した。
• 正しいパッチが見つかるまでに生成されたパッチ候補の数を、主な効率性指標として用いた。
• 故障局所化のノイズを、不確実なコード場所の順位を変更することでシミュレートし、耐性を評価した。
• 探索空間を、最も順位の高い不確実なコード場所に限定することで、故障局所化が効率性に与える影響を分離した。
• すべての実験は同じベンチマークスイート（Defects4J）上で実施され、公開されたアーティファクトにより結果の完全な再現性が確保された。

実験結果

リサーチクエスチョン

• RQ1 16種類のテストセットベースのAPRツール間で、生成されたパッチ候補の数はどのように変動するか。また、この数と修復効率性の間には相関関係があるか？
• RQ2 故障局所化のノイズは、特に探索空間が制限された場合に、パッチ生成の効率性にどの程度影響を与えるか？
• RQ3 高い修復効果性で知られるテンプレートベースのAPRツールが、他のアプローチと比較して顕著に多くの無関係なパッチ候補を生成するのはなぜか？
• RQ4 探索空間を走査する戦略は、正しいパッチが見つかるまでのパッチ候補の生成数にどのように影響するか？
• RQ5 パッチ候補の大量発生は、APRツールの産業的導入にどのような実用的影響を及えるか？

主な発見

• テンプレートベースのAPRツールは、バグの修復において最も効果的であるが、生成されるパッチ候補の数が最も多く、その大部分が無関係である。
• 生成されたパッチ候補の顕著な割合が、誤ったコード場所に基づいていることから、故障しやすい領域への的確なターゲティングが不十分であることが示された。
• 探索空間を最も不確実なコード場所に限定した場合、故障局所化のノイズはパッチ生成の効率性にほとんど影響を及ぼさなかった。
• 生成されたパッチ候補の数は、意味のあるコード変更を優先する戦略の能力と強く相関していた。
• 本研究は、修復の効果性と効率性の間の重要なトレードオフを明らかにした。高い効果性は、しばしば過剰な計算負荷を伴う。
• 結果から、今後のAPR研究は、無関係なパッチ候補の数を減らす戦略を優先すべきであると示唆された。