[논문 리뷰] On Distribution Shift in Learning-based Bug Detectors

Jingxuan He, Luca Beurer-Kellner외 1명|arXiv (Cornell University)|2022. 04. 21.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 학습 기반 버그 검출기의 성능이 떨어지는 근본 원인으로, 훈련에 사용된 합성 버그와 실세계의 실제 버그 간의 불일치인 분포 이탈을 규명한다. 저자들은 두 단계 훈련 방법을 제안한다: 먼저 합성 버그로 일반적인 특징을 학습하는 프리트레이닝, 그 다음에 데이터 불균형이 있는 소규모 실세계 버그 데이터셋으로 세밀 조정을 수행하며, 여기서 포지티브 로스, 대비 학습, 다중 작업 계층을 활용한다. 이 방법은 실제 테스트 세트에서 높은 정밀도(최대 51%)를 달성하여 이전 방법들을 크게 앞서며 성능 향상을 보였다.

ABSTRACT

Deep learning has recently achieved initial success in program analysis tasks such as bug detection. Lacking real bugs, most existing works construct training and test data by injecting synthetic bugs into correct programs. Despite achieving high test accuracy (e.g., 90%), the resulting bug detectors are found to be surprisingly unusable in practice, i.e., <10% precision when used to scan real software repositories. In this work, we argue that this massive performance difference is caused by a distribution shift, i.e., a fundamental mismatch between the real bug distribution and the synthetic bug distribution used to train and evaluate the detectors. To address this key challenge, we propose to train a bug detector in two phases, first on a synthetic bug distribution to adapt the model to the bug detection domain, and then on a real bug distribution to drive the model towards the real distribution. During these two phases, we leverage a multi-task hierarchy, focal loss, and contrastive learning to further boost performance. We evaluate our approach extensively on three widely studied bug types, for which we construct new datasets carefully designed to capture the real bug distribution. The results demonstrate that our approach is practically effective and successfully mitigates the distribution shift: our learned detectors are highly performant on both our test set and the latest version of open source repositories. Our code, datasets, and models are publicly available at https://github.com/eth-sri/learning-real-bug-detector.

연구 동기 및 목표

• 합성 버그로 훈련된 버그 검출기와 실제 운영 환경에서의 성능 격차의 근본 원인을 규명하는 것.
• 훈련에 사용된 합성 버그와 실제 운영 코드에서 발견되는 실버그 간의 근본적인 분포 이탈 문제를 해결하는 것.
• 실제 코드 리포지터리에서의 성능 향상을 위한 실용적인 이중 단계 훈련 프레임워크를 개발하는 것.
• 극심한 클래스 불균형을 포함한 실제 버그의 진짜 분포를 반영하는 현실적인 데이터셋을 구축하는 것.
• 합성 버그로의 프리트레이닝과 실버그로의 세밀 조정을 조합함으로써 훨씬 효과적이고 정밀한 검출기가 만들어질 수 있음을 입증하는 것.

제안 방법

• 합성 버그의 균형 잡힌 데이터셋으로 프리트레이닝을 수행한 후, 현실적인 불균형 데이터셋으로 세밀 조정을 수행하는 이중 단계 훈련 파이프라인을 제안한다.
• 유사한 버그 유형 간의 일반화 및 특징 학습을 향상시키기 위해 다중 작업 계층을 통합한다.
• 세밀 조정 단계에서 클래스 불균형을 완화하기 위해 포지티브 로스를 적용하여 어려운 실버그 검출에 집중한다.
• 버그가 있는 코드와 없는 코드 쌍을 구분함으로써 표현 학습을 향상시키기 위해 대비 학습을 사용한다.
• 코드 표현을 위한 백본 네트워크로 사전 훈련된 코드 모델(예: CuBERT)을 활용한다.
• GitHub 커밋에서 추출한 실버그와 비버그 코드를 포함한 새로운 데이터셋을 구축하여 실세계 데이터 분포를 반영한다.

실험 결과

연구 질문

• RQ1 실세계 코드 리포지터리에 배포했을 때 학습 기반 버그 검출기의 정밀도가 급격히 떨어지는 원인은 무엇인가?
• RQ2 합성 버그와 실버그의 분포 간의 분포 이탈이 기존 버그 검출기의 성능을 얼마나 심각하게 떨어뜨리는가?
• RQ3 합성 버그와 실버그 데이터를 조합한 이중 단계 훈련 전략이 버그 검출의 분포 이탈을 효과적으로 완화할 수 있는가?
• RQ4 포지티브 로스, 대비 학습, 작업 계층과 같은 보조 구성 요소가 실세계 데이터에서 검출기 성능 향상에 기여하는 정도는 어떠한가?
• RQ5 소수의 실버그로 훈련된 검출기가 대규모이고 불균형적인 생산 코드에 효과적으로 일반화될 수 있는가?

주요 결과

• 기존 버그 검출기의 성능은 합성 테스트 세트에서는 90% 이상의 정밀도를 기록하지만, 실세계 테스트 세트에서는 10% 미만으로 급격히 떨어지며 심각한 분포 이탈을 보여준다.
• 실세계 테스트 세트에서 실버그 비율이 0.5%이고 비버그 코드가 99.5%일 경우, 최고의 베이스라인 모델도 정밀도가 단지 3%에 그쳐 현재 접근 방식의 실용적 비효율성을 드러낸다.
• 제안된 이중 단계 훈련 방법은 동일한 실세계 테스트 세트에서 최대 51%의 정밀도를 달성하여 베이스라인을 크게 앞서며 분포 이탈의 효과적인 완화를 입증한다.
• 합성 버그로의 프리트레이닝과 실버그로의 세밀 조정을 함께 수행하고, 포지티브 로스 및 대비 학습을 적용한 조합이 최고의 성능을 내며, 양 단계 모두의 필요성을 보여준다.
• 이 방법은 변수 오용 및 잘못된 이진 연산자 오류와 같은 다양한 버그 유형으로 일반화되며, 최신 오픈소스 리포지터리의 버전에서도 잘 작동한다.
• 저자들은 공개 데이터셋, 모델, 코드를 배포하여 재현 가능성과 현실적인 버그 검출 분야의 향후 연구를 가능하게 했다.