[논문 리뷰] Test Case Generation for Program Repair: A Study of Feasibility and Effectiveness

Zhongxing Yu, Matías Martínez외 3명|arXiv (Cornell University)|2017. 03. 01.

Software Testing and Debugging Techniques참고 문헌 32인용 수 20

한 줄 요약

이 논문은 자동화된 테스트 케이스 생성이 테스트 셋 기반 프로그램 복구에서 과적합을 줄일 수 있는지 조사하기 위해, generate-and-validate 도구를 위한 MinImpact와 합성 기반 도구를 위한 UnsatGuided라는 두 가지 맞춤형 접근 방식을 제안한다. 224개의 Defects4J 버그에서의 평가 결과, 테스트 케이스 생성은 패치를 변화시키지만 정확성 향상이나 과적합 제거에 유의미한 영향을 미치지 못함을 확인하였으며, 이는 복구 인식 테스트 생성 기법의 필요성을 강조한다.

ABSTRACT

Among the many different kinds of program repair techniques, one widely studied family of techniques is called test suite based repair. Test-suites are in essence input-output specifications and are therefore typically inadequate for completely specifying the expected behavior of the program under repair. Consequently, the patches generated by test suite based program repair techniques pass the test suite, yet may be incorrect. Patches that are overly specific to the used test suite and fail to generalize to other test cases are called overfitting patches. In this paper, we investigate the feasibility and effectiveness of test case generation in alleviating the overfitting issue. We propose two approaches for using test case generation to improve test suite based repair, and perform an extensive evaluation of the effectiveness of the proposed approaches in enabling better test suite based repair on 224 bugs of the Defects4J repository. The results indicate that test case generation can change the resulting patch, but is not effective at turning incorrect patches into correct ones. We identify the problems related with the ineffectiveness, and anticipate that our results and findings will lead to future research to build test-case generation techniques that are tailored to automatic repair systems.

연구 동기 및 목표

• 자동으로 생성된 테스트 케이스를 사용하여 테스트 셋 기반 프로그램 복구에서 과적합을 줄일 수 있는지의 타당성과 효과성을 조사하는 것.
• 과도하게 특정된 잘못된 패치를 유도하는 테스트 셋의 불완전한 명세화 문제를 해결하는 것.
• generate-and-validate 도구와 합성 기반 도구 각각에 적합한 MinImpact와 UnsatGuided라는 두 가지 접근 방식을 설계하고 평가하여 자동 생성된 테스트를 복구 파이프라인에 통합하는 것.
• 테스트 케이스 생성이 자동으로 생성된 패치의 정확성과 일반화 능력을 향상시킬 수 있는지 평가하는 것.
• 자동화된 복구와의 통합에서 발생하는 주요 과제를 규명하고 향후 연구를 안내하는 것.

제안 방법

• jGenProg와 같은 generate-and-validate 복구 도구에서 패치 생성에 미치는 영향을 최소화하기 위해, 유효한 패치를 거부할 수 있는 테스트 케이스를 걸러내는 방식으로, MinImpact를 제안한다.
• Nopol과 같은 합성 기반 도구에 특화된 UnsatGuided를 도입하며, 불가능성 추론을 활용해 잘못된 패치를 무효화하지 않도록 테스트 케이스 선택을 안내한다.
• EvoSuite를 테스트 케이스 생성기로 활용하여, 버그가 있는 프로그램 버전을 오라클로 사용해 복구된 코드에서의 회귀를 탐지할 수 있는 테스트를 생성한다.
• Defects4J 저장소의 실제 Java 버그 224개에 대해 제안된 방법을 적용하여, jGenProg(Generate-and-validate)와 Nopol(합성 기반) 도구를 사용해 복구 결과를 평가한다.
• 테스트 통합 이전과 이후의 패치 정확성, 일반화 능력, 과적합 패치를 거부하는 능력을 비교하여 효과성을 측정한다.
• 테스트 생성의 오버헤드를 분석하고, 단순한 테스트 통합이 복구 결과를 향상시키는지 평가한다.

실험 결과

연구 질문

• RQ1 테스트 케이스 생성을 통해 테스트 셋 기반 프로그램 복구에서 과적합을 개선하고 패치의 일반화 능력을 높일 수 있는가?
• RQ2 MinImpact와 UnsatGuided 접근 방식은 generate-and-validate 도구와 합성 기반 도구에 자동 생성된 테스트를 어떻게 통합하는가?
• RQ3 테스트 케이스 생성은 자동 복구 도구의 출력에 어느 정도 영향을 미치며, 생성된 패치의 정확성을 향상시키는가?
• RQ4 테스트 생성과 자동 복구를 통합할 때 발생하는 주요 과제는 무엇이며, 왜 단순한 테스트 삽입은 효과가 없는가?
• RQ5 복구 파이프라인에서 사용할 때 테스트 생성의 성능 오버헤드는 수용 가능한가?

주요 결과

• 테스트 케이스 생성은 프로그램 복구 도구의 출력을 상당히 변화시켜 원래 테스트 셋만을 사용한 경우와 다른 패치를 생성한다.
• 패치를 변경함에도 불구하고, 테스트 케이스 생성은 최종 패치의 정확성 향상이나 과적합 제거에 거의 영향을 주지 못한다.
• 단순한 테스트 통합은 결과를 향상시키지 못하며, MinImpact와 UnsatGuided와 같은 목적에 맞춘 통합 전략의 필요성을 강조한다.
• 테스트 케이스 생성이 유도하는 오버헤드는 복구 파이프라인에서 실용적으로 사용하기에 수용 가능한 수준으로 간주된다.
• 현재 테스트 생성과 복구의 융합에 대한 근본적인 한계를 규명하였으며, 향후 테스트 생성 기법은 자동 복구를 위해 특별히 설계되어야 한다는 점을 시사한다.
• 결과는 테스트 케이스 생성이 복구에 영향을 미치지만, 복구 논리와 깊이 통합되지 않으면 정확성이나 일반화를 보장하기에는 부족하다는 것을 시사한다.