[논문 리뷰] Empirical Review of Java Program Repair Tools: A Large-Scale Experiment on 2,141 Bugs and 23,551 Repair Attempts

Thomas Durieux, Fernanda Madeiral외 2명|arXiv (Cornell University)|2019. 05. 28.

Software Testing and Debugging Techniques참고 문헌 44인용 수 5

한 줄 요약

이 대규모 실험적 연구는 5개의 버그 벤치마크, Defects4J 포함, 11개의 자바 테스트 슈트 기반 프로그램 복구 도구를 대상으로 23,551회의 복구 시도를 수행하여 평가한다. 연구 결과, 도구들은 전체적으로 21%의 복구 가능성을 보였으며, Defects4J에서는 47%로 높은 성공률를 기록했지만, 다른 벤치마크에서는 10–30% 수준이었고, 패치 생성 실패의 여섯 가지 핵심 원인을 특정하였으며, 예를 들어 잘못된 결함 위치 특정 및 다중 결함 위치 등이 포함된다.

ABSTRACT

In the past decade, research on test-suite-based automatic program repair has grown significantly. Each year, new approaches and implementations are featured in major software engineering venues. However, most of those approaches are evaluated on a single benchmark of bugs, which are also rarely reproduced by other researchers. In this paper, we present a large-scale experiment using 11 Java test-suite-based repair tools and 5 benchmarks of bugs. Our goal is to have a better understanding of the current state of automatic program repair tools on a large diversity of benchmarks. Our investigation is guided by the hypothesis that the repairability of repair tools might not be generalized across different benchmarks of bugs. We found that the 11 tools 1) are able to generate patches for 21% of the bugs from the 5 benchmarks, and 2) have better performance on Defects4J compared to other benchmarks, by generating patches for 47% of the bugs from Defects4J compared to 10-30% of bugs from the other benchmarks. Our experiment comprises 23,551 repair attempts in total, which we used to find the causes of non-patch generation. These causes are reported in this paper, which can help repair tool designers to improve their techniques and tools.

연구 동기 및 목표

• 자동 프로그램 복구 도구의 성능이 다양한 버그 벤치마크 간에 일반화되는지 여부를 조사하는 것.
• 다양한 벤치마크에서 패치 생성 실패의 근본 원인을 규명하고 분석하는 것.
• 일반적으로 사용되는 Defects4J 벤치마크를 초월해 복구 도구에 대한 종합적인 실증적 평가를 제공하는 것.
• 표준화되고 간편한 대규모 복구 실험을 가능하게 하기 위해 재사용 가능한 실행 프레임워크인 RepairThemAll을 개발하고 배포하는 것.

제안 방법

• 5개의 서로 다른 벤치마크에서 2,141개의 버그에 대해 11개의 테스트 슈트 기반 복구 도구를 대상으로 대규모 실험을 설계하고 실행한 바.
• 다양한 벤치마크에서 복구 도구의 실행을 추상화하고 자동화하기 위해 RepairThemAll이라는 통합 프레임워크를 개발한 바.
• 23,551회의 복구 시도를 수행하여 각 도구-버그 조합에 대해 결과와 실패 이유를 체계적으로 로깅한 바.
• 비패치 생성 사례를 여섯 가지 주요 원인으로 분류하여 실패 패tern을 분석한 바.
• 재현 가능성과 일관성을 확보하기 위해 표준화된 평가 파이프라인을 사용한 바.
• 모든 도구-벤치마크 조합에서 복구 가능성, 패치 정확도, 실행 시간에 대한 데이터를 수집하고 분석한 바.

실험 결과

연구 질문

• RQ1 복구 도구는 다양한 버그 벤치마크 간에 일관된 성능을 보이는가, 아니면 특정 벤치마크에 과적합되는가?
• RQ2 버그에 대해 유효한 패치를 생성하지 못하게 하는 주요 원인은 무엇인가?
• RQ3 Defects4J에서 복구 도구의 성능은 다른 벤치마크에서의 성능과 비교해 어떻게 다른가?
• RQ4 벤치마크 선택이 복구 도구의 효과성 평가에 혼동 요인으로 작용할 정도로 어느 정도의 영향을 미치는가?
• RQ5 실패 이유는 체계적으로 분류될 수 있으며, 향후 도구 개선을 이끌 수 있는가?

주요 결과

• 11개의 복구 도구는 전체 2,141개의 버그 중 21%에 대해 패치를 생성하여 전반적인 복구 가능성이 제한적임을 나타낸다.
• Defects4J는 다른 벤치마크들(10–30%)과 비교해 상당히 높은 복구 성공률(47%)을 보였다.
• 잘못된 결함 위치 특정는 실패의 주요 원인였으며, 도구들이 수정할 올바른 코드 위치를 식별하지 못하게 했다.
• 한 개의 버그에 다중 결함 위치가 존재하는 것은 큰 장애물이었으며, 대부분의 도구들이 한 버그당 하나의 결함만을 가정하기 때문이다.
• 검색 공간 제약 및 문법적 복구 연산자 등의 도구 고유의 제약이 비패치 케이스의 30%에서 실패 원인이 되었다.
• RepairThemAll 프레임워크는 모든 도구와 벤치마크 간에 재현 가능한 실행을 성공적으로 가능하게 하여 대규모 분석을 촉진했다.