[논문 리뷰] On the Efficiency of Test Suite based Program Repair: A Systematic Assessment of 16 Automated Repair Systems for Java Programs

Kui Liu, Shangwen Wang외 8명|Open Repository and Bibliography (University of Luxembourg)|2020. 08. 03.

Software Testing and Debugging Techniques참고 문헌 65인용 수 14

한 줄 요약

이 논문은 자바를 대상으로 한 16개의 오픈소스 테스트 세트 기반 프로그램 수리 도구의 효율성에 대해 대규모 실증 연구를 수행하며, 올바른 패치가 발견되기 이전에 생성된 패치 후보 수를 통해 효율성을 측정한다. 이는 템플릿 기반 도구가 버그 수정에 가장 효과적임에도 불구하고, 대부분이 관련이 없는 후보를 생성하기 때문에 가장 효율이 떨어지며, 자동 프로그램 수리에서 효과성과 효율성 사이의 핵심적 상충 관계를 드러낸다.

ABSTRACT

Test-based automated program repair has been a prolific field of research in software engineering in the last decade. Many approaches have indeed been proposed, which leverage test suites as a weak, but affordable, approximation to program specifications. Although the literature regularly sets new records on the number of benchmark bugs that can be fixed, several studies increasingly raise concerns about the limitations and biases of state-of-the-art approaches. For example, the correctness of generated patches has been questioned in a number of studies, while other researchers pointed out that evaluation schemes may be misleading with respect to the processing of fault localization results. Nevertheless, there is little work addressing the efficiency of patch generation, with regard to the practicality of program repair. In this paper, we fill this gap in the literature, by providing an extensive review on the efficiency of test suite based program repair. Our objective is to assess the number of generated patch candidates, since this information is correlated to (1) the strategy to traverse the search space efficiently in order to select sensical repair attempts, (2) the strategy to minimize the test effort for identifying a plausible patch, (3) as well as the strategy to prioritize the generation of a correct patch. To that end, we perform a large-scale empirical study on the efficiency, in terms of quantity of generated patch candidates of the 16 open-source repair tools for Java programs. The experiments are carefully conducted under the same fault localization configurations to limit biases.

연구 동기 및 목표

• 테스트 세트 기반 프로그램 수리 도구의 효율성을 평가하는 것. 정의에 따르면, 올바른 패치가 발견되기 이전에 생성된 패치 후보 수를 기준으로 한다.
• 장애 위치 특정의 노이즈가 검색 공간이 제한된 경우에 특히 패치 생성 효율성에 영향을 미치는지 조사하는 것.
• 16개의 오픈소스 APR 도구 간에 수리 효과성과 효율성 사이의 상충 관계를 평가하는 것.
• 모든 도구에 동일한 장애 위치 특정 설정을 적용하여 공정하고 재현 가능한 벤치마크를 제공하는 것.
• 산업적 도입을 위해 수리 효과성을 희생시키지 않으면서도 효율성을 향상시키는 전략의 필요성을 제기하는 것.

제안 방법

• 동일한 장애 위치 특정 설정을 적용하여 16개의 오픈소스 APR 도구를 평가하여 편향을 최소화한다.
• 각 도구에 대해 동일한 테스트 세트를 기반으로 패치 후보를 생성하고 검증하며, 자원 고갈을 방지하기 위해 고정된 타임아웃을 설정한다.
• 올바른 패치가 발견되기 이전에 생성된 패치 후보 수를 주요 효율성 지표로 사용한다.
• 장애 위치의 순위를 왜곡시켜 노이즈를 시뮬레이션하여 도구의 강건성을 평가한다.
• 검색 공간을 상위 순위의 장애가 의심되는 코드 위치에 국한하여, 장애 위치 특정이 효율성에 미치는 영향을 분리하여 분석한다.
• 모든 실험은 동일한 벤치마크 세트(Defects4J)에서 수행되었으며, 공개된 자료를 통해 결과의 완전한 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 16개의 테스트 세트 기반 APR 도구 간에 생성된 패치 후보 수는 어떻게 달라지며, 이 수치와 수리 효율성 간의 상관관계는 무엇인가?
• RQ2 장애 위치의 노이즈가 패치 생성 효율성에 어느 정도 영향을 미치는가? 특히 검색 공간이 제한된 경우에 대해 설명하라.
• RQ3 장애 위치 특정의 노이즈가 검색 공간이 제한된 경우에 특히 패치 생성 효율성에 영향을 미치는가?
• RQ4 왜 템플릿 기반 APR 도구는 높은 수리 효과성을 보이지만 다른 접근 방식에 비해 훨씬 더 많은 관련 없는 패치 후보를 생성하는가?
• RQ5 검색 공간을 순회하는 전략이 올바른 패치가 발견되기 이전에 생성되는 패치 후보 수에 어떻게 영향을 미치는가?
• RQ6 고밀도의 패치 후보 생성이 APR 도구의 산업적 도입에 대해 실질적인 영향을 미치는가?

주요 결과

• 템플릿 기반 APR 도구는 버그 수정에 가장 효과적임에도 불구하고, 가장 많은 패치 후보를 생성하며 대부분이 관련이 없는 것으로 나타났다.
• 생성된 패치 후보의 상당 부분이 잘못된 코드 위치 기반으로 생성되어, 고장이 발생하기 쉬운 영역을 정확히 타겟팅하지 못하고 있음을 시사한다.
• 검색 공간을 상위 순위의 의심되는 코드 위치에만 국한할 경우, 장애 위치 특정의 노이즈는 패치 생성 효율성에 거의 영향을 주지 않았다.
• 생성된 패치 후보 수는 수리 전략이 의미 있는 코드 변형을 우선순위로 배치하는 능력과 강하게 상관관계가 있었다.
• 이 연구는 수리 효과성과 효율성 사이의 핵심적 상충 관계를 드러내었으며, 높은 효과성은 종종 과도한 계산적 오버헤드를 동반함을 시사한다.
• 결과적으로未래 APR 연구는 관련 없는 패치 후보 수를 줄이는 전략을 우선시하여 실용성을 향상시켜야 한다고 제안한다.