[논문 리뷰] An Empirical Analysis of the Influence of Fault Space on Search-Based Automated Program Repair

Ming Wen, Junjie Chen외 3명|arXiv (Cornell University)|2017. 07. 17.

Software Testing and Debugging Techniques참고 문헌 49인용 수 26

한 줄 요약

이 논문은 고장 공간 정확도가 검색 기반 자동 프로그램 수정(APR)에 어떻게 영향을 미치는지 경험적으로 조사하며, 높은 고장 공간 정확도가 GenProg와 같은 APR 도구의 효과성과 효율성을 크게 향상시킨다는 것을 발견한다. 또한, 부정적 멀티플리케이션 커버리지가 고장 공간 품질을 예측하는 데 가장 유용한 지표임을 규명하고, 자동으로 생성된 테스트 케이스가 고장 공간 정확도와 APR 성능을 향상시킨다는 것을 입증한다.

ABSTRACT

Automated program repair (APR) has attracted great research attention, and various techniques have been proposed. Search-based APR is one of the most important categories among these techniques. Existing researches focus on the design of effective mutation operators and searching algorithms to better find the correct patch. Despite various efforts, the effectiveness of these techniques are still limited by the search space explosion problem. One of the key factors attribute to this problem is the quality of fault spaces as reported by existing studies. This motivates us to study the importance of the fault space to the success of finding a correct patch. Our empirical study aims to answer three questions. Does the fault space significantly correlate with the performance of search-based APR? If so, are there any indicative measurements to approximate the accuracy of the fault space before applying expensive APR techniques? Are there any automatic methods that can improve the accuracy of the fault space? We observe that the accuracy of the fault space affects the effectiveness and efficiency of search-based APR techniques, e.g., the failure rate of GenProg could be as high as $60\%$ when the real fix location is ranked lower than 10 even though the correct patch is in the search space. Besides, GenProg is able to find more correct patches and with fewer trials when given a fault space with a higher accuracy. We also find that the negative mutation coverage, which is designed in this study to measure the capability of a test suite to kill the mutants created on the statements executed by failing tests, is the most indicative measurement to estimate the efficiency of search-based APR. Finally, we confirm that automated generated test cases can help improve the accuracy of fault spaces, and further improve the performance of search-based APR techniques.

연구 동기 및 목표

• 고장 공간 정확도와 검색 기반 APR 기법의 성능 간 상관관계를 조사하는 것.
• 비용이 많이 들기 때문에 수리 시도 이전에 검색 기반 APR의 효율성을 예측할 수 있는 측정 가능한 지표를 특정하는 것.
• 자동으로 생성된 테스트 케이스가 고장 공간 정확도를 향상시키고, 그로 인해 APR의 효과성이 향상되는지 평가하는 것.
• 고장 공간 품질이 검색 공간의 폭발적 증가와 패치 발견 성공률에 어떻게 영향을 미치는지에 대한 경험적 증거를 제공하는 것.

제안 방법

• 다양한 테스트 세트에서 유도된 고장 공간을 평가하기 위해 연구는 검색 기반 APR 엔진으로 GenProg를 사용한다.
• 고장 위치 특정 기법을 사용하여 고장 공간을 생성하며, 의심스러운 코드 요소의 순위 목록을 기반으로 멀티플리케이션 기반 패치 생성을 위한 검색 공간으로 활용한다.
• 실패 테스트에서 실행된 문장에서 멀티플리케이션을 사망시킬 수 있는지의 정도를 측정하기 위해 부정적 멀티플리케이션 커버리지라는 새로운 지표를 도입한다.
• EvoSuite와 같은 도구를 활용해 자동으로 테스트 케이스를 생성하여 테스트 세트를 보완하고 고장 공간 품질을 향상시킨다.
• 경험적 평가에서는 정확도가 다른 다양한 고장 공간에서 패치 발견 성공률과 검색 시도 횟수를 비교한다.
• 통계적 분석을 통해 고장 공간 정확도, 테스트 세트 커버리지, APR 성능 지표 간의 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 고장 공간 정확도가 검색 기반 APR의 성능과 유의미하게 상관관계가 있는가?
• RQ2 고장 공간 품질을 바탕으로 검색 기반 APR의 효율성을 예측할 수 있는 측정 가능한 지표가 존재하는가?
• RQ3 자동으로 생성된 테스트 케이스가 고장 공간 정확도를 향상시키고, 검색 기반 APR의 성능을 향상시킬 수 있는가?

주요 결과

• 정확한 수정 위치가 고장 공간에서 10위 이하로 순위가 매겨지면, 정확한 패치가 검색 공간에 포함되어 있더라도 GenProg의 실패율이 최대 60%에 이르게 된다.
• 고장 공간 정확도가 높을수록 GenProg가 더 많은 정확한 패치를 더 적은 검색 시도로 발견함으로써, 고장 공간 품질과 APR 효율성 간의 직접적인 상관관계를 입증한다.
• 부정적 멀티플리케이션 커버리지는 고장 공간 정확도를 추정하는 데 가장 유용한 지표로, 다른 커버리지 기반 측정 지표보다 APR 성능 예측에 뛰어난 성능을 보인다.
• 자동으로 생성된 테스트 케이스는 고장 공간 정확도를 크게 향상시키며, 이로 인해 검색 기반 APR 기법의 성능 향상이 이루어진다.
• 특히 실패 테스트 경로에서 멀티플리케이션을 사망시킬 수 있는 테스트 세트의 적정성은 검색 기반 APR의 성공과 강하게 상관관계가 있다.
• 이 연구는 고장 공간 품질이 검색 기반 APR에서 검색 공간의 폭발적 증가 문제를 완화하는 데 핵심적인 요소임을 확인한다.