[논문 리뷰] Can we learn from developer mistakes? Learning to localize and repair real bugs from real bug fixes

Cedric Richter, Heike Wehrheim|arXiv (Cornell University)|2022. 07. 01.

Software Engineering Research인용 수 8

한 줄 요약

이 논문은 파이썬에서 실제 버그를 국소화하고 수정하는 데 있어 신경망 모델의 성능을 향상시키기 위해 대규모 코드 멘테이션(mutants)과 실제 세계의 버그 수정 사례를 결합한 pre-train-and-fine-tune 프레임워크인 RealiT을 제안한다. 이전 연구 대비 20배 더 많은 멘테이션으로 사전 훈련하고, 33,000개의 실제 버그 수정 사례로 미세조정함으로써 RealiT는 실제 버그에 대한 국소화 성능을 거의 두 배로 끌어올리면서도 수정 정확도는 유지하거나 향상시킨다.

ABSTRACT

Real bug fixes found in open source repositories seem to be the perfect source for learning to localize and repair real bugs. However, the absence of large scale bug fix collections has made it difficult to effectively exploit real bug fixes in the training of larger neural models in the past. In contrast, artificial bugs -- produced by mutating existing source code -- can be easily obtained at a sufficient scale and are therefore often preferred in the training of existing approaches. Still, localization and repair models that are trained on artificial bugs usually underperform when faced with real bugs. This raises the question whether bug localization and repair models trained on real bug fixes are more effective in localizing and repairing real bugs. We address this question by introducing RealiT, a pre-train-and-fine-tune approach for effectively learning to localize and repair real bugs from real bug fixes. RealiT is first pre-trained on a large number of artificial bugs produced by traditional mutation operators and then fine-tuned on a smaller set of real bug fixes. Fine-tuning does not require any modifications of the learning algorithm and hence can be easily adopted in various training scenarios for bug localization or repair (even when real training data is scarce). In addition, we found that training on real bug fixes with RealiT is empirically powerful by nearly doubling the localization performance of an existing model on real bugs while maintaining or even improving the repair performance.

연구 동기 및 목표

• 실제 버그 수정 사례로 훈련하는 것이 실제 소프트웨어 버그를 국소화하고 수정하는 데 있어 신경망 모델의 성능을 향상시키는가를 조사하는 것.
• 실제 버그 수정 데이터셋의 부족 문제를 해결하기 위해 합성 멘테이션과 실제 수정 사례를 조합한 pre-train-and-fine-tune 접근법을 제안하는 것.
• 실제 버그 수정 사례가 인위적인 멘테이션을 넘어서 실제 환경에서의 일반화 능력을 향상시킬 수 있는가를 평가하는 것.
• 실제 수정 사례의 데이터 품질과 양이 버그 국소화 및 수정 성능에 크게 영향을 미친다는 것을 입증하는 것.

제안 방법

• RealiT는 두 단계 훈련 파이프라인을 사용한다: 먼저 기존의 변형 연산자들을 통해 생성된 대규모 코드 멘테이션 코퍼스로 사전 훈련한다.
• 그 후, 공개된 파이썬 리포지터리에서 추출한 33,000개의 실제 버그 수정 사례로 구성된 더 작은 고품질 데이터셋으로 모델을 미세조정한다.
• 미세조정 과정에서는 아키텍처 변경이 필요 없어 기존의 버그 국소화 및 수정 훈련 파이프라인에 쉽게 통합할 수 있다.
• 사전 훈련 단계의 멘테이션 훈련과 실제 수정 사례로의 미세조정 단계를 개별적으로 평가할 수 있어 추론 실험(ablation studies)가 가능하다.
• 이 방법은 파이썬에서 2,000개 이상의 실제 단일 토큰 버그를 포함한 PyPIBugs 벤치마크에서 평가된다.
• 모델은 변수 오용, 연산자 오용, 비교 오용, 함수 오용의 네 가지 일반적인 단일 토큰 버그 유형을 국소화하고 수정하도록 훈련된다.

실험 결과

연구 질문

• RQ1 실제 버그 수정 사례로 훈련한 모델이 인위적인 멘테이션으로만 훈련된 모델에 비해 실세계 버그에 대해 국소화 및 수정 성능을 유의미하게 향상시키는가?
• RQ2 사전 훈련-미세조정 전략이 인위적 멘테이션의 스케일과 실제 버그 수정 사례의 현실성의 장점을 효과적으로 조합하여 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ3 실제 버그 수정 사례의 수가 실제 버그를 국소화하고 수정하는 데 있어 최종 모델의 성능에 어떤 영향을 미치는가?
• RQ4 멘테이션으로의 사전 훈련이 높은 성능을 달성하기 위해 필수적인가, 아니면 실제 수정 사례로의 미세조정만으로도 충분한가?

주요 결과

• RealiT는 단지 멘테이션으로만 훈련된 모델에 비해 실제로 성공적으로 국소화된 실제 버그의 수를 거의 두 배로 늘려 국소화 성능 향상이 뚜렷하다.
• 실제 버그 수정 사례로의 미세조정은 사전 훈련 단계에서 대규모 멘테이션을 사용하더라도 수정 성능을 유지하거나 향상시킨다.
• 대규모 멘테이션(이전 연구 대비 최대 20배 많음)으로 사전 훈련한 모델은 멘테이션과 실제 버그 양쪽에서 뚜렷한 성능 향상을 보이며, 훈련 데이터 스케일의 중요성을 입증한다.
• 실제 버그 수정 사례의 성능 기여는 정량적으로도 뚜렷하다: 더 많은 실제 수정 사례를 사용할수록 결과가 더 나아지며, 작은 부분집합조차도 멘테이션 전용 훈련보다 성능 향상을 이룬다.
• RealiT는 실세계 단일 토큰 버그에 대해 상당 부분을 성공적으로 수정한 최초의 모델로, 실제 환경에서의 효과성을 입증한다.