[논문 리뷰] Automatic Repair of Real Bugs: An Experience Report on the Defects4J Dataset

Matías Martínez, Thomas Durieux외 3명|arXiv (Cornell University)|2015. 05. 26.

Software Testing and Debugging Techniques참고 문헌 51인용 수 47

한 줄 요약

이 논문은 Defects4J 데이터셋의 224개의 실제 Java 버그에서 최신 자동 복구 도구—jGenProg, jKali, Nopol—의 성능을 평가한다. 47개의 버그가 자동으로 복구되었지만, 생성된 패치 중 수작업으로 확인된 정확한 패치는 84개 중 9개에 불과하여, 테스트 셋 기반 복구 기법의 부족함과 과적합 문제로 인한 심각한 문제를 드러낸다.

ABSTRACT

Defects4J is a large, peer-reviewed, structured dataset of real-world Java bugs. Each bug in Defects4J is provided with a test suite and at least one failing test case that triggers the bug. In this paper, we report on an experiment to explore the effectiveness of automatic repair on Defects4J. The result of our experiment shows that 47 bugs of the Defects4J dataset can be automatically repaired by state-of- the-art repair. This sets a baseline for future research on automatic repair for Java. We have manually analyzed 84 different patches to assess their real correctness. In total, 9 real Java bugs can be correctly fixed with test-suite based repair. This analysis shows that test-suite based repair suffers from under-specified bugs, for which trivial and incorrect patches still pass the test suite. With respect to practical applicability, it takes in average 14.8 minutes to find a patch. The experiment was done on a scientific grid, totaling 17.6 days of computation time. All their systems and experimental results are publicly available on Github in order to facilitate future research on automatic repair.

연구 동기 및 목표

• 큰 규모의 동료 심사 통과 데이터셋에서 실제 Java 버그에 대해 최신 자동 복구 도구의 실용적 효과성을 평가하기 위해.
• 테스트 셋 기반 복구 기법이 테스트를 통과하는 것 외에도 의미적으로 올바르고 의미 있는 패치를 생성하는지 조사하기 위해.
• 테스트 셋이 요구되는 동작을 포괄하지 못해 잘못된 또는 단순한 패치를 생성하게 되는, 부족하게 명시된 버그를 특정하기 위해.
• 실제 산업 규모의 코드베이스에서 자동 복구의 계산 비용을 측정하여 실용적 적용 가능성 평가하기 위해.

제안 방법

• Java용 GenProg 및 Kali 접근법을 기반으로 세 도구—jGenProg, jKali, Nopol—을 재구현하였다.
• Defects4J 데이터셋의 224개의 실제 Java 버그에 대해 각각 테스트 셋과 최소한 하나의 실패하는 테스트 케이스를 포함하여 도구를 실행하였다.
• 실험을 수행하기 위해 과학적 그리드(Grid’5000)를 사용하여 총 17.6일의 계산 시간을 소비하였다.
• 정확도를 테스트 셋 통과를 넘어서 평가하기 위해 생성된 84개의 패치를 수작업으로 분석하였으며, 정확한, 잘못된, 전문 지식이 필요한 것으로 분류하였다.
• 수색 공간 내에서의 지도를 위해 문장 순위 매기기 및 패치 검증 기법을 적용하였다.
• 모든 도구, 설정 및 결과를 GitHub에 수집 및 공개하여 재현 가능성을 확보하고 향후 연구를 지원하였다.

실험 결과

연구 질문

• RQ1 RQ1: 최신 복구 기법은 Defects4J 데이터셋의 실제 버그를 자동으로 수정할 수 있는가?
• RQ2 RQ2: 생성된 패치는 의미적으로 올바른가, 아니면 테스트 케이스에 과적합되어 실제 버그를 해결하지 못하는가?
• RQ3 RQ3: Defects4J의 어떤 버그들이 테스트 셋 피드백만으로는 복구하기 어려운 부족하게 명시된 상태인가?
• RQ4 RQ4: 이 도구들을 사용하여 단일 버그를 복구하는 데 평균적으로 얼마나 오래 걸리는가?

주요 결과

• Defects4J 데이터셋의 224개 버그 중 3개 도구 중 하나 이상가 복구한 것은 47개이며, 그 중 Nopol이 가장 많은 35개의 버그를 복구하였다.
• 생성된 84개 패치 중 수작업으로 확인된 정확한 패치는 11개에 불과하여, 패치의 72.6%가 잘못되었거나 테스트 입력에 지나치게 특정되어 있음을 시사한다.
• 84개 패치 중 12개는 검증을 위해 전문 지식이 필요하여, 자동으로 정확도 평가가 어려운 난이도를 보여준다.
• 버그 복구 평균 시간은 14.8분으로, 실용 가능성은 있지만 산업적 적용에는 계산 비용이 상당히 높다는 것을 시사한다.
• 이 연구에서는 3개 도구 모두가 복구한 버그가 12개로, 복구 가능한 핵심 패턴이 존재함을 밝혀냈으며, 35개의 버그는 오직 Nopol만이 복구하였다.
• 결과는 테스트 셋 기반 복구의 근본적인 결함을 드러내며, 약한 테스트 셋은 버그를 의미적으로 수정하지는 않지만 테스트를 통과하는 잘못된 패치를 생성하게 된다.