[논문 리뷰] Beep: Fine-grained Fix Localization by Learning to Predict Buggy Code Elements

Shangwen Wang, Kui Liu외 5명|arXiv (Cornell University)|2021. 11. 15.

Software Engineering Research참고 문헌 100인용 수 5

한 줄 요약

이 논문은 깊이 학습 모델인 Beep을 제안하며, 버그가 있는 코드 토큰을 정밀하게 국소화하고 필요한 수정 작업을 미세한 정밀도로 예측한다. AST 경로를 사용하여 CoCoNut 데이터셋으로 훈련된 Beep은 여러 벤치마크에서 평균 첫 번째 순위(Mean First Rank)가 7–12이며 Recall@1이 30–45%를 기록한다. 이는 오버피팅을 줄이고 효율성을 향상시켜 두 가지 수리 파이프라인에서 100% 정확한 패치 생성을 가능하게 한다.

ABSTRACT

Software Fault Localization refers to the activity of finding code elements (e.g., statements) that are related to a software failure. The state-of-the-art fault localization techniques, however, produce coarse-grained results that can deter manual debugging or mislead automated repair tools. In this work, we focus specifically on the fine-grained identification of code elements (i.e., tokens) that must be changed to fix a buggy program: we refer to it as fix localization. This paper introduces a neural network architecture (named Beep) that builds on AST paths to predict the buggy code element as well as the change action that must be applied to repair a program. Leveraging massive data of bugs and patches within the CoCoNut dataset, we trained a model that was (1) effective in localizing the buggy tokens with the Mean First Rank significantly higher than a statistics based baseline and a machine learning-based baseline, and (2) effective in predicting the repair operators (with the associated buggy code elements) with a Recall@1= 30-45% and the Mean First Rank=7-12 (evaluated by CoCoNut, ManySStuBs4J, and Defects4J datasets). To showcase how fine-grained fix localization can help program repair, we employ it in two repair pipelines where we use either a code completion engine to predict the correct token or a set of heuristics to search for the suitable donor code. A key strength of accurate fix localization for program repair is that it reduces the chance of patch overfitting, a challenge in generate-and-validate automated program repair: both two repair pipelines achieve a correctness ratio of 100%, i.e., all generated patches are found to be correct. Moreover, accurate fix localization helps enhance the efficiency of program repair.

연구 동기 및 목표

• 수동 및 자동 디버깅에서 군집화된 결함 국소화의 한계를 해결함으로써 효율적이고 정확한 버그 수정을 가능하게 하기 위해.
• 생성-검증 방식의 자동 프로그램 수리(APR)에서 오버피팅을 줄이기 위해 버그가 있는 코드 요소를 정밀하게 국소화함으로써.
• 수정되어야 할 정확한 토큰과 변경 연산자(예: UPDATE, INSERT, DELETE)를 식별함으로써 APR 파이프라인의 효율성과 정확성을 향상시키기 위해.
• AST 경로와 막대한 양의 버그/패치 데이터를 활용하여 미세한 수준의 코드 변경을 예측할 수 있는 신경망 모델을 개발하기 위해.
• 미세한 수준의 수정 국소화가 코드 완성 또는 히وري스틱 기반 수리 파이프라인을 사용할 때 100% 정확한 패치 생성을 가능하게 한다는 것을 입증하기 위해.

제안 방법

• Beep는 코드 요소 주변의 구조적 및 의미적 맥락을 인코딩하기 위해 추상 구문 트리(abstract syntax tree, AST) 경로를 처리하는 신경망 아키텍처를 사용한다.
• 모델은 실제 소프트웨어 프로젝트에서 유래한 수백만 개의 버그-수리 쌍을 포함하는 CoCoNut 데이터셋으로 훈련된다.
• 모델은 순서-순서 학습 방식을 사용하여 버그가 있는 토큰과 해당하는 수정 연산자(예: UPDATE, INSERT, DELETE)를 동시에 예측한다.
• 버그가 있는 코드 주변의 관련 구문적 및 의미적 특징에 집중하기 위해 AST 경로에 대한 어텐션 메커니즘을 활용한다.
• 두 가지 수리 파이프라인을 평가한다: 하나는 정확한 토큰을 예측하기 위해 코드 완성 엔진을 사용하고, 다른 하나는 기여 코드를 검색하기 위해 히وري스틱을 사용한다.
• 표준 메트릭인 평균 첫 번째 순위와 Recall@1를 사용하여 CoCoNut, ManySStuBs4J, Defects4J 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 메서드 수준의 선 또는 메서드 수준 국소화를 넘어서, 메서드 내에서 정확한 버그가 있는 토큰을 국소화할 수 있는가?
• RQ2 버그가 있는 토큰과 관련된 올바른 수정 연산자(예: UPDATE, INSERT)를 예측할 수 있는가?
• RQ3 미세한 수준의 수정 국소화가 비버그 코드 요소에 대한 변경을 최소화함으로써 자동 프로그램 수리에서 오버피팅을 줄이는가?
• RQ4 Beep의 예측을 통합한 수리 파이프라인이 패치 생성에서 100%의 정확도를 달성할 수 있는가?
• RQ5 국소화 정확도와 수리 효과성 측면에서 Beep의 성능이 기준선 결함 국소화 기법들보다 어떻게 비교되는가?

주요 결과

• Beep는 CoCoNut, ManySStuBs4J, Defects4J에서 버그가 있는 토큰 국소화에 대해 평균 첫 번째 순위(Mean First Rank)가 7–12를 기록하며, 통계적 및 기계학습 기반 기준선보다 뚜렷이 뛰어나다.
• 모델은 올바른 수정 연산자 예측에 대해 Recall@1이 30–45%를 기록하여 필요한 변경을 식별하는 데 뛰어난 정밀도를 보인다.
• 두 수리 파이프라인에 통합된 Beep는 100% 정확도 비율을 달성하여, 생성된 모든 패치가 테스트 케이스를 모두 통과함을 의미한다.
• 미세한 수준의 수정 국소화를 사용함으로써 실제로 버그가 있는 요소에만 변경이 적용되어 오버피팅 위험을 줄일 수 있다.
• 비버그 코드 요소에 대한 무의미한 변경을 탐색하는 것을 방지함으로써 검색 공간을 크게 줄여 수리 파이프라인이 효율적이게 된다.
• Beep는 Defects4J의 실제 산업 프로젝트와 ManySStuBs4J의 대규모 테스트 세트를 포함한 다양한 벤치마크에서 잘 일반화된다.