[논문 리뷰] Less Training, More Repairing Please: Revisiting Automated Program Repair via Zero-shot Learning

Chunqiu Steven Xia, Lingming Zhang|arXiv (Cornell University)|2022. 07. 17.

Software Engineering Research인용 수 10

한 줄 요약

이 논문은 Defects4J와 QuixBugs에서 최고 성능을 기록하며, 버그 수정 데이터셋에 대한 미세조정 없이도 코드BERT와 같은 대규모 사전 훈련된 코드 모델을 활용하는 제로샷, 클로즈 스타일의 자동 프로그램 복구 기법인 AlphaRepair를 제안한다. 맥락적 코드 스니펫에서 정확한 코드 라인을 직접 예측함으로써, AlphaRepair는 Defects4J 2.0에서 최고의 베이스라인 대비 3.3배 더 많은 버그를 수정하며 최신 기술 수준을 달성했으며, 자바와 파이썬 모두에 대해 강력한 다국어 복구 능력을 보였다.

ABSTRACT

Due to the promising future of Automated Program Repair (APR), researchers have proposed various APR techniques, including heuristic-based, template-based, and constraint-based techniques. Among such classic APR techniques, template-based techniques have been widely recognized as state of the art. However, such template-based techniques require predefined templates to perform repair, and their effectiveness is thus limited. To this end, researchers leveraged the recent advances in Deep Learning to further improve APR. Such learning-based techniques view APR as a Neural Machine Translation problem, using the buggy/fixed code snippets as the source/target languages for translation. In this way, such techniques heavily rely on large numbers of high-quality bug-fixing commits, which can be extremely costly and challenging to construct. Furthermore, the edit variety of these learning-based techniques are limited to the available bug-fixes within their training datasets. Therefore, in this paper, we aim to revisit the learning-based APR problem, and propose AlphaRepair, to leverage zero-shot learning directly using large pre-trained code models for APR. Our main insight is instead of modeling what a repair edit should look like, we can directly predict what the correct code is based on the context information. We have implemented AlphaRepair as a practical multilingual APR tool based on the recent CodeBERT model. Our results on the widely used Defects4J benchmark show that AlphaRepair can substantially outperform state-of-the-art APR tools. We also studied the impact of different design choices and show that AlphaRepair performs even better on a newer version of Defects4J (2.0) with 3.3X more fixes than best performing baseline, indicating that AlphaRepair can potentially avoid the dataset-overfitting issue of existing learning-based techniques.

연구 동기 및 목표

• 학습 기반 APR 기법이 버그 수정 데이터셋을 대규모로 고품질로 요구하는 한계를 해결하기 위해.
• 사전 훈련된 코드 모델이 작업 특화 훈련 없이도 제로샷 환경에서 프로그램 복구에 직접 활용될 수 있는지 탐색하기 위해.
• Defects4J와 QuixBugs와 같은 표준 벤치마크에서 이러한 접근의 효과성과 일반화 능력을 평가하기 위해.
• 재훈련이나 언어별 별도의 모델 없이도 다국어 프로그램 복구를 지원할 수 있는지 조사하기 위해.

제안 방법

• AlphaRepair는 복구를 순서-순서 번역 작업이 아닌, 맥락 기반으로 올바른 코드 라인을 예측하는 클로즈 태스크로 프로그램 복구를 정의한다.
• 버그가 있는 라인을 마스킹하고 정확한 수정을 예측하도록 모델을 프om프팅하기 위해 CodeBERT의 사전 훈련 목표인 마스킹 언어 모델링을 활용한다.
• 버그가 있는 라인을 [MASK] 토큰으로 대체하면서 주변 코드 맥락을 유지함으로써, 사전 훈련된 모델을 직접 사용해 추론할 수 있도록 입력을 구성한다.
• 모델은 이전의 버그 수정 쌍에 대해 미세조정되지 않았으며, 복구 작업에 대해 추론할 때만 동결된 CodeBERT의 가중치를 직접 사용한다.
• 이 접근은 다국어 APR 도구로 구현되었으며, CodeBERT의 6개 프로그래밍 언어(자바, 파이썬, 고, PHP, 자바스크립트, 루비)에 대한 통합 사전 훈련을 활용한다.
• 생성된 패치의 정확성은 컴파일과 테스트 세트 실행을 통해 검증되며, 의미적 정확성을 확인하기 위해 수동 검토도 수행된다.

실험 결과

연구 질문

• RQ1 버그 수정 데이터셋에 대한 미세조정 없이도 사전 훈련된 코드 모델을 직접 자동 프로그램 복구에 활용할 수 있는가?
• RQ2 클로즈 스타일 복구 접근 방식이 기존의 NMT 기반 학습 기반 APR 기법보다 우수한가?
• RQ3 제로샷 접근 방식이 다양한 프로그래밍 언어 간에 일반화되어 재훈련 없이 다국어 복구를 가능하게 하는가?
• RQ4 특히 Defects4J 2.0와 같이 더 신규이고 대규모인 벤치마크에서 평가할 경우, 데이터셋 과적합을 피할 수 있는가?

주요 결과

• AlphaRepair는 Defects4J 1.2(28개)와 Defects4J 2.0(27개)에서 가장 많은 정확한 패치를 생성하여 모든 베이스라인을 앞섰다.
• Defects4J 2.0에서 AlphaRepair는 최고 성능을 기록한 베이스라인 대비 3.3배 더 많은 버그를 수정하며 강력한 일반화 능력과 과적합 감소를 입증했다.
• AlphaRepair는 QuixBugs의 자바 및 파이썬 버전에서 모두 최고 성능을 기록하여 다국어 복구 능력을 확인했다.
• CodeBERT의 훈련 데이터에 포함된 15개의 중복 버그를 제외한 상황에서도 AlphaRepair는 베이스라인을 초월했으며, 데이터 泄露를 넘어서는 강건성을 보였다.
• 중복된 버그 코드 스니펫을 수동으로 변형한 결과, AlphaRepair는 정확한 데이터셋 매칭에 의존하지 않고, 기억된 수정 방식을 넘어서 일반화됨을 확인했다.
• 마스킹된 코드 모델링을 통한 클로즈 스타일 예측을 활용한 제로샷 접근 방식은 역사적 수정에 대한 광범위한 미세조정이 필요한 NMT 기반 학습 기반 APR보다 뚜렷이 뛰어난 성능을 보였다.