[논문 리뷰] Self-Supervised Bug Detection and Repair

Miltiadis Allamanis, Henry Jackson-Flux외 1명|arXiv (Cornell University)|2021. 05. 26.

Software Engineering Research참고 문헌 33인용 수 38

한 줄 요약

BugLab은 버그 셀렉터를 공동으로 학습시켜 탐지하기 어려운 버그를 생성하고, 버그 디텍터를 학습시켜 이를 위치를 찾아 수정하도록 하며, 실제-world PyPI 버그에서 무작위 버그 기초선보다 더 나은 성능을 달성하고 오픈 소스 Python 코드에서 19개의 이전에 알려지지 않은 버그를 발견했다.

ABSTRACT

Machine learning-based program analyses have recently shown the promise of integrating formal and probabilistic reasoning towards aiding software development. However, in the absence of large annotated corpora, training these analyses is challenging. Towards addressing this, we present BugLab, an approach for self-supervised learning of bug detection and repair. BugLab co-trains two models: (1) a detector model that learns to detect and repair bugs in code, (2) a selector model that learns to create buggy code for the detector to use as training data. A Python implementation of BugLab improves by up to 30% upon baseline methods on a test dataset of 2374 real-life bugs and finds 19 previously unknown bugs in open-source software.

연구 동기 및 목표

• Annotated 대형 버그 데이터셋의 부족을 해결하기 위해 버그 탐지 및 수리를 위한 자기지도 프레임워크를 제안한다.
• 도전적 버그를 생성하는 버그 셀렉터와 이를 수정하는 디텍터를 공동 학습한다.
• 실 세계 버그 테스트 세트와 오픈 소스 프로젝트로 효과를 시연한다.
• 재현성을 위한 Python 구현(PyBugLab)을 제공하고 재현성을 위한 데이터 세트를 공개한다.

제안 방법

• 코드를 엔티티와 관계의 이질적 그래프로 표현한다.
• 두 개의 신경망 모델을 사용한다: 버그를 도입하는 재작성은 선택하는 셀렉터 S_phi와 이를 위치시키고 수정하는 디텍터 D_theta를 사용한다.
• 셀렉터가 디텍터를 위한 가장 어려운 재작성(최대 손실)을 근사하고 디텍터가 수정(손실 최소화)하는 최소-극대 학습 목표를 공식화한다.
• ell 위치에서 재작성 규칙 rho를 포함한 확률적 재작성을 도입하며, 버그를 유발하는 재작성과 수정 재작성 모두, rho^{-1}의 역 규칙으로 수정한다.
• 두 가지 코드 표현 아키텍처(GNN와 GREAT 트랜스포머)를 채택하여 재작성 점수 산정을 위한 엔티티 임베딩을 생성한다.
• 네 가지 버그 유형(변수 남용, 인자 교환, 잘못된 연산자, 잘못된 리터럴)을 다루는 Python 구현(PyBugLab)을 제공하고, 데이터 증강 재작성도 포함한다.

실험 결과

연구 질문

• RQ1 자기지도식으로 버그 셀렉터와 버그 디텍터를 공동 학습하면 감독 학습이나 무작위 버그 기초선보다 탐지 및 수정 성능이 향상될 수 있는가?
• RQ2 학습된 재작성이 더 어렵게 탐지되는 버그를 생성하면서도 현실적인 버그 분포를 유지할 수 있는가?
• RQ3 다른 코드 표현(GNN 대 GREAT)이 합성 및 실제 버그 세트에서 로컬라이제이션 및 수정 성능에 어떤 영향을 미치는가?
• RQ4 실제 버그 데이터셋에서 버그 로컬라이제이션과 수정 간의 상대적 난이도는 어떠한가?
• RQ5 PyBugLab은 CuBERT와 같은 기존 접근법과 비교해 실-world PyPI 버그에서의 성능은 어떠한가?

주요 결과

Training strategy	Model	Joint	Loc	Repair
Supervised	GNN	62.4	73.6	81.2
Supervised	GREAT	51.0	61.9	76.3
Random Selector	GNN	69.4	79.6	84.0
Random Selector	GREAT	63.9	73.6	82.0
PyBugLab	GNN	69.6	80.4	84.2
PyBugLab	GREAT	64.0	74.3	82.3
PyBugLab +Aug	GNN	70.3	81.1	84.5
PyBugLab +Aug	GREAT	65.3	75.3	82.5

• BugLab으로 학습된 디텍터는 무작위로 삽입된 버그로 학습된 기초선보다 합성 데이터셋인 RandomBugs에서 더 우수한 성능을 보인다.
• RandomBugs에서 PyBugLab(GNN)은 Joint=69.6%, Loc=80.4%, Repair=84.2%; PyBugLab + Aug는 Joint=70.3%, Loc=81.1%, Repair=84.5%를 달성한다.
• 실제 Bug 데이터셋인 PyPIBugs에서 PyBugLab(GNN)은 Joint=24.2%, Loc=31.3%, Repair=70.7%; PyBugLab + Aug는 Joint=26.4%, Loc=33.5%, Repair=72.0%를 달성한다.
• 다섯 개의 GNN 모델을 앙상블하면 RandomBugs에서 로컬라이제이션이 83.0%, 수리가 85.4%로 향하고 PyPIBugs에서도 Loc/Repair가 소폭 증가한다.
• PyBugLab은 일반적으로 버그 로컬라이제이션의 재현율에서 CuBERT보다 우수한 경향이 있으며, 버그 유형 전반에서 탐지 능력이 더 높다.
• 추가 분석에 따르면 NoBug 탐지는 특히 도전적이며, PyPIBugs 테스트 세트에서 정확도가 약 63%를 넘지 못한다.
• 셀렉터는 시간이 지남에 따라 진단하기 더 어려운 버그를 생성하도록 학습되며, 이는 디텍터의 강건성을 높이는 데 효과적임을 시사한다.