[논문 리뷰] Invalidator: Automated Patch Correctness Assessment via Semantic and Syntactic Reasoning

Thanh Le-Cong, Duc-Minh Luong외 5명|arXiv (Cornell University)|2023. 01. 03.

Software Testing and Debugging Techniques인용 수 4

한 줄 요약

Invalidator는 프로그램 인variant를 통한 의미적 추론과 CodeBERT 임베딩을 이용한 문법적 추론을 조합하여 APR에서 생성한 패치의 과적합을 탐지하는 새로운 자동 패치 정확도 평가 기법이다. 테스트 케이스 생성이 필요 없고 완전 자동으로 작동함에도 불구하고, 과적합 패치의 79%를 탐지하여 최고의 기존 기준 대비 23% 더 높은 성능을 보였다.

ABSTRACT

Automated program repair (APR) faces the challenge of test overfitting, where generated patches pass validation tests but fail to generalize. Existing methods for patch assessment involve generating new tests or manual inspection, which can be time-consuming or biased. In this paper, we propose a novel technique, INVALIDATOR, to automatically assess the correctness of APR-generated patches via semantic and syntactic reasoning. INVALIDATOR leverages program invariants to reason about program semantics while also capturing program syntax through language semantics learned from a large code corpus using a pre-trained language model. Given a buggy program and the developer-patched program, INVALIDATOR infers likely invariants on both programs. Then, INVALIDATOR determines that an APR-generated patch overfits if: (1) it violates correct specifications or (2) maintains erroneous behaviors from the original buggy program. In case our approach fails to determine an overfitting patch based on invariants, INVALIDATOR utilizes a trained model from labeled patches to assess patch correctness based on program syntax. The benefit of INVALIDATOR is threefold. First, INVALIDATOR leverages both semantic and syntactic reasoning to enhance its discriminative capability. Second, INVALIDATOR does not require new test cases to be generated, but instead only relies on the current test suite and uses invariant inference to generalize program behaviors. Third, INVALIDATOR is fully automated. Experimental results demonstrate that INVALIDATOR outperforms existing methods in terms of Accuracy and F-measure, correctly identifying 79% of overfitting patches and detecting 23% more overfitting patches than the best baseline.

연구 동기 및 목표

• 테스트 케이스를 통과하나 일반화되지 않는 패치가 발생하는 자동 프로그램 복구(APR)에서의 지속적인 과적합 문제를 해결한다.
• 행동 차이를 탐지하기 위해 비용이 많이 들거나 생성이 어려운 테스트 케이스에 의존하는 기존 접근법의 한계를 극복한다.
• 새로운 테스트 케이스 생성 없이도 자동화되고 확장 가능하며 정확한 패치 정확도 평가 방법을 개발한다.
• 의미적(프로그램 인variant)과 문법적(사전 학습된 코드 임베딩) 추론을 활용하여 과적합 패치 탐지 능력을 향상시킨다.
• 실제 소프트웨어 개발 환경에서 APR 도구의 신뢰성과 실용적 도입을 향상시키기 위해 완전 자동 솔루션을 제공한다.

제안 방법

• 버그가 있는 프로그램과 개발자가 수정한 버전으로부터 프로그램 인variant를 추론하여 의미적 사양을 포착한다.
• 정확한 인variant를 위반하거나 원래 버그가 있는 프로그램의 잘못된 동작을 유지하는 경우 APR가 생성한 패치가 과적합임을 판단한다.
• 인variant 기반 추론이 실패할 경우, 문법 유사도를 기반으로 패치 정확도를 평가하기 위해 훈련된 기계학습 모델을 활용한다.
• CodeBERT를 사용하여 프로그램 문법의 조밀한 벡터 표현을 생성하여 대규모 코드 코퍼스에서 언어 의미를 포착한다.
• APR가 생성한 패치, 버그가 있는 프로그램, 기준이 되는 개발자 패치 간의 문법적 차이를 측정하여 과적합 가능성의 정도를 추정한다.
• 의미적 추론과 문법 기반 분류를 두 단계 프레임워크로 조합하여 분류 능력과 강인성을 향상시킨다.

(a) An overfitting patch generated by Kali [ 35 ]

실험 결과

연구 질문

• RQ1 프로그램 인variant가 APR가 생성한 패치의 과적합을 탐지하기 위해 의미적 사양을 효과적으로 포착할 수 있는가?
• RQ2 의미적 추론이 실패할 경우, 사전 학습된 코드 모델을 통한 문법 유사도 측정이 과적합 패치 탐지에 기여하는가?
• RQ3 의미적 및 문법적 추론을 조합했을 때 기존 자동 패치 정확도 평가 기법보다 우수한 성능을 보이는가?
• RQ4 추가적인 테스트 케이스 생성 없이 Invalidator가 과적합 패치를 얼마나 잘 탐지할 수 있는가?
• RQ5 실제 APR 데이터셋에서 Invalidator는 최신 기준 대비 성능이 어떻게 비교되는가?

주요 결과

• Defects4J에서 생성한 885개의 APR 생성 패치 데이터셋에서 Invalidator는 과적합 패치의 79%를 성공적으로 탐지하여 최고 성능 기준 대비 23% 향상된 성과를 보였다.
• Invalidator는 최고 기준 대비 정확도 14% 향상, F-measure 19% 향상으로 전반적인 성능이 뛰어나다는 것을 입증했다.
• 프로그램 인variant 통합 덕분에 Invalidator는 테스트 셋 커버리지 외부로 일반화할 수 있었으며, 테스트를 통과하나 의미적으로 잘못된 패치를 식별할 수 있었다.
• CodeBERT 특징 기반의 문법 기반 분류기는 기준 패치 및 버그가 있는 버전과의 유사도 비교를 통해 유연하고 적응 가능한 임계값을 제공한다.
• Invalidator는 새로운 테스트 케이스 생성이 전혀 필요 없이 완전 자동으로 작동하여 복잡한 테스트 생성 도구에 대한 의존도를 감소시켰다.
• 의미적 및 문법적 추론을 조합함으로써 단일 모odal에 의존하는 방법보다 과적합 패치 탐지 능력이 크게 향상됨을 입증했다.

(b) The correct patch written by human developers