[論文レビュー] Test Case Generation for Program Repair: A Study of Feasibility and Effectiveness

Zhongxing Yu, Matías Martínez+3 more|arXiv (Cornell University)|Mar 1, 2017

Software Testing and Debugging Techniques参考文献 32被引用数 20

ひとこと要約

本稿では、生成されたテストケースを用いた自動テストケース生成が、テストセットベースのプログラム修復における過剰適合を軽減できるかどうかを調査する。生成・検証型ツール向けにMinImpact、合成型ツール向けにUnsatGuidedの2つの特化手法を提案する。Defects4Jの224件のバグを用いた評価では、テストケース生成が修正パッチに影響を及えるが、正しさや過剰適合の削減に顕著な改善効果を示さず、修復に適したテスト生成技術の必要性が浮き彫りになる。

ABSTRACT

Among the many different kinds of program repair techniques, one widely studied family of techniques is called test suite based repair. Test-suites are in essence input-output specifications and are therefore typically inadequate for completely specifying the expected behavior of the program under repair. Consequently, the patches generated by test suite based program repair techniques pass the test suite, yet may be incorrect. Patches that are overly specific to the used test suite and fail to generalize to other test cases are called overfitting patches. In this paper, we investigate the feasibility and effectiveness of test case generation in alleviating the overfitting issue. We propose two approaches for using test case generation to improve test suite based repair, and perform an extensive evaluation of the effectiveness of the proposed approaches in enabling better test suite based repair on 224 bugs of the Defects4J repository. The results indicate that test case generation can change the resulting patch, but is not effective at turning incorrect patches into correct ones. We identify the problems related with the ineffectiveness, and anticipate that our results and findings will lead to future research to build test-case generation techniques that are tailored to automatic repair systems.

研究の動機と目的

• 自動生成されたテストケースを用いた過剰適合の軽減が、テストセットベースのプログラム修復において実現可能で効果的かどうかを調査すること。
• テストセットが不完全な仕様であるという限界が、過剰に特化した誤ったパッチを生じさせることを是正すること。
• 生成・検証型ツールと合成型ツールそれぞれに適した、生成されたテストを修復パイプラインに統合する2つの手法（MinImpactとUnsatGuided）を設計・評価すること。
• テストケース生成が自動生成パッチの正しさと一般化能力を向上させられるかどうかを評価すること。
• 自動修復との統合におけるテスト生成の主な課題を特定し、今後の研究を導くこと。

提案手法

• jGenProgなどの生成・検証型修復ツール向けに、有効なパッチを拒否するテストを除外することで、パッチ生成に与える影響を最小限に抑えるMinImpactを提案する。
• Nopolのような合成型ツール向けに、充足不能性の推論を用いてテストケース選択をガイドし、正しいパッチを無効にしないようにするUnsatGuidedを導入する。
• EvoSuiteをテストケース生成ツールとして採用し、バグありバージョンをオラクルとして用い、修正コードにおけるリグレッションを検出するテストを生成する。
• Defects4Jリポジトリの224件の実世界のJavaバグを対象に、jGenProg（生成・検証型）とNopol（合成型）を用いて修復結果を評価する。
• 生成されたテスト統合前後でのパッチの正しさ、一般化能力、過剰適合パッチの拒否能力を比較することで、有効性を測定する。
• テスト生成のオーバーヘッドを分析し、生成されたテストをそのまま統合する方法が修復結果を改善するかどうかを評価する。

実験結果

リサーチクエスチョン

• RQ1 生成されたテストケースを用いたテストケース生成は、一般化能力の向上によって、テストセットベースのプログラム修復における過剰適合を軽減できるか？
• RQ2 MinImpactおよびUnsatGuidedの手法は、生成・検証型および合成型修復ツールにおける生成テストの統合をどのように改善するか？
• RQ3 テストケース生成は自動修復ツールの出力にどの程度影響を及けるのか。また、生成パッチの正しさは向上するのか？
• RQ4 自動修復との統合におけるテスト生成の主な課題は何か。また、単純なテスト挿入がなぜ効果がないのか？
• RQ5 修復パイプラインで使用する場合、テスト生成のパフォーマンスオーバーヘッドは許容可能か？

主な発見

• テストケース生成はプログラム修復ツールの出力を顕著に変化させ、元のテストセットのみを用いた場合とは異なるパッチを生成する。
• パッチの変更は見られるが、最終的なパッチの正しさや過剰適合の削減に顕著な改善効果は認められない。
• 生成されたテストをそのまま修復パイプラインに統合する方法は、結果の向上に失敗する。これは、MinImpact や UnsatGuided のような目的特化された統合戦略の必要性を示唆する。
• テストケース生成によって生じるオーバーヘッドは、実用的な修復パイプラインへの適用において許容可能な範囲であるとされる。
• 現在のテスト生成と修復の連携には根本的な限界があることが同定され、今後のテスト生成技術は自動修復に特化して設計される必要があると示唆される。
• 結果から、テストケース生成は修復に影響を与えるが、修復論理と深く統合されない限り、正しさや一般化を保証するには不十分であることが明らかになった。