[논문 리뷰] APPT: Boosting Automated Patch Correctness Prediction via Fine-tuning Pre-trained Models

Quanjun Zhang, Chunrong Fang외 5명|arXiv (Cornell University)|2023. 01. 29.

Machine Learning in Healthcare인용 수 5

한 줄 요약

APPT는 프로그램 복구에서 자동 패ッチ 정확도 예측을 위한 최적화된 사전 훈련 모델 접근법을 제안한다. BERT를 인코더로 사용하고 LSTM 및 분류기와 조합하여 일반화 능력을 향상시킨다. Defects4J 패치에서 79.7%의 정확도와 83.2%의 재현율을 기록하며, 기존 최고 성능(SOTA)보다 각각 4.3%포인트와 6.7%포인트 높으며, 실제 패치에서 다섯 가지 지표에서 99% 이상을 기록한다.

ABSTRACT

Automated program repair (APR) aims to fix software bugs automatically without human debugging efforts and plays a crucial role in software development and maintenance. Despite promising, APR is still challenged by a long-standing overfitting problem (i.e., the generated patch is plausible but overfitting). Various techniques have thus been proposed to address the overfitting problem. Recently, researchers have employed BERT to extract code features, which are then used to train a classifier for patch correctness prediction. However, BERT is restricted to feature extraction for classifier training without benefiting from the training process, potentially generating sub-optimal vector representations for patched code snippets. In this paper, we propose APPT, a pre-trained model-based automated patch correctness assessment technique by both pre-training and fine-tuning. APPT adopts a pre-trained model as the encoder stack, followed by an LSTM stack and a deep learning classifier. More importantly, the pre-trained model is fine-tuned in conjunction with other components as a whole pipeline to fully adapt it specifically for reasoning about patch correctness. We conduct an extensive experiment on 1,183 Defects4J patches and the experimental results show that APPT achieves prediction accuracy of 79.7% and recall of 83.2%, outperforming CACHE by 4.3% and 6.7%. Our additional investigation on 49,694 real-world patches shows that APPT achieves the optimum performance compared with existing representation learning techniques. We further investigate the impact of each component and find that they all positively contribute to APPT, e.g., the fine-tuning process and the LSTM stack increase F1-score by 10.22% and 4.11%, respectively. We also prove that adopting advanced pre-trained models can further provide substantial advancement, highlighting the generalizability of APPT.

연구 동기 및 목표

• 테스트 케이스를 통과하지만 새로운 환경에선 실패하는 패치가 발생하는 자동 프로그램 복구(APR)에서의 과적합 문제를 해결한다.
• 정적 및 동적 패치 정확도 평가 기법의 한계를 극복한다. 이는 정밀도가 낮거나 계산 비용이 높기 때문이다.
• 사전 훈련 모델을 활용해 패치 정확도 예측을 위한 더 나은 코드 표현을 학습함으로써 수작업 특징을 초월한 일반화 능력을 향상시킨다.
• 사전 훈련 모델을 특징 추출용으로만 사용하는 것이 아니라, 종단 간 최적화를 통해 패치 정확도 예측에 적합한 모델을 학습하는 것의 효과를 탐색한다.
• BERT, CodeBERT, GraphCodeBERT와 같은 다양한 사전 훈련 모델에 대해 본 방법의 일반화 능력을 검증한다.

제안 방법

• 버그가 있는 코드와 패치가 적용된 코드 스니펫의 문맥적 표현을 추출하기 위해 사전 훈련된 BERT 모델을 인코더 스택으로 사용한다.
• 코드 변경 사항과 그 맥락 간의 순차적 의존성을 모델링하기 위해 인코더 뒤에 LSTM 레이어를 통합한다.
• 이중 완전 연결 레이어와 소프트맥스 활성화 함수를 갖는 딥러닝 분류기에 LSTM 출력을 입력하여 패치 정확도에 대한 이진 분류를 수행한다.
• 모델 전체—인코더, LSTM, 분류기—를 종단 간으로 최적화하여 패치 정확도 추론에 특화된 적응을 이룬다.
• 모델의 강건성과 확장성을 평가하기 위해 합성(Defects4J) 및 실제 세계(49,694개 패치) 데이터셋 모두에서 평가한다.
• 정밀도, 재현율, F1, AUC와 같은 표준 지표를 사용해 APPT를 CACHE 및 수작업 특징 기법과 비교한다.

Figure 1: Overview of APR

실험 결과

연구 질문

• RQ1 특징 추출 전용 접근법에 비해 종단 간 최적화를 통해 사전 훈련 모델을 사용하면 패치 정확도 예측 정확도가 향상되는가?
• RQ2 LSTM 레이어의 통합이 코드 변경 사항의 의존성을 포착하는 데 모델의 능력에 어떤 영향을 미치는가?
• RQ3 APPT는 CodeBERT나 GraphCodeBERT와 같은 다른 사전 훈련 모델로도 일반화 가능한가? 그리고 BERT 기반 APPT보다 성능이 뛰어나게 되는가?
• RQ4 기존 최고 성능 기법에 비해 APPT는 실제 세계 패치에서 어떻게 성능을 내는가?
• RQ5 각 구성 요소(예: 최적화, LSTM)가 전체 성능 향상에 기여하는 정도는 어떠한가?

주요 결과

• 1,183개의 Defects4J 패치에서 APPT는 79.7%의 정확도와 83.2%의 재현율을 기록하며, SOTA 기법인 CACHE보다 정확도 4.3%포인트, 재현율 6.7%포인트 높다.
• 실제 세계 패치 49,694개에서 APPT는 다섯 가지 표준 평가 지표에서 99% 이상을 기록하여 강력한 일반화 능력과 강건성을 입증한다.
• 최적화 과정 자체만으로도 F1 점수가 10.22% 향상되어, 이 과정이 패치 정확도 작업에 모델을 적응시키는 데 핵심적인 역할을 한다는 것을 보여준다.
• LSTM 구성 요소는 F1 점수 향상에 4.11% 기여하여, 코드 변경 사항의 순차적 의존성을 모델링하는 데 있어 그 가치를 입증한다.
• BERT 대신 GraphCodeBERT를 사용할 경우 정밀도는 2.8% 향상되고 AUC는 3.3% 향상되어 고급 사전 훈련 모델의 이점이 확인된다.
• 제거 실험 결과, 인코더, LSTM, 분류기 모두 성능 향상에 긍정적인 기여를 함을 확인하여 설계 선택의 타당성을 입증한다.

Figure 2: Overview of APPT