[논문 리뷰] An Empirical Study on Learning Bug-Fixing Patches in the Wild via Neural Machine Translation

Michele Tufano, Cody Watson외 4명|arXiv (Cornell University)|2018. 12. 20.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 GitHub의 수백만 개의 오픈소스 코드 변경 사항에서 실제 세계의 버그 수정 패치를 자동으로 학습하고 생성할 수 있는 신경 기계 번역(NMT) 접근법을 제안한다. 추상화된 버그 있는 코드와 수정된 코드 쌍에 기반해 시퀀스-투-시퀀스 모델을 훈련함으로써, 후보 생성 수에 따라 9–50%의 수정 예측 정확도를 달성하고, 82% 이상의 경우에서 문법적으로 올바른 패치를 생성하며, 밀리초 내로 패치를 생성함으로써 대규모 데이터 기반 프로그램 수리의 강력한 가능성을 입증한다.

ABSTRACT

Millions of open-source projects with numerous bug fixes are available in code repositories. This proliferation of software development histories can be leveraged to learn how to fix common programming bugs. To explore such a potential, we perform an empirical study to assess the feasibility of using Neural Machine Translation techniques for learning bug-fixing patches for real defects. First, we mine millions of bug-fixes from the change histories of projects hosted on GitHub, in order to extract meaningful examples of such bug-fixes. Next, we abstract the buggy and corresponding fixed code, and use them to train an Encoder-Decoder model able to translate buggy code into its fixed version. In our empirical investigation we found that such a model is able to fix thousands of unique buggy methods in the wild. Overall, this model is capable of predicting fixed patches generated by developers in 9-50% of the cases, depending on the number of candidate patches we allow it to generate. Also, the model is able to emulate a variety of different Abstract Syntax Tree operations and generate candidate patches in a split second.

연구 동기 및 목표

• 신경 기계 번역(NMT)이 실제 세계의 코드 저장소에서 개발자가 작성한 실제 버그 수정 패치를 학습하여 생성할 수 있는지 조사하는 것.
• 오픈소스 프로젝트의 변경 이력에서 의미 있는 버그 있는 코드-수정된 코드 쌍(BFPs)을 추출하고 추상화하는 것.
• NMT 기반 모델이 실제 결함에 대해 문법적으로 올바르고 의미적으로 관련성이 있는 패치를 생성하는 데 있어서 타당성, 품질, 효율성을 평가하는 것.
• 모델이 실제 개발자 수정에서 흔히 사용되는 추상구문트리(_AST_) 연산을 어느 정도 모방할 수 있는지 평가하는 것.
• 대규모 실세계 코드 이력 자료를 활용해 데이터 기반 프로그램 수리 시스템을 훈련시키는 데의 잠재력을 탐색하는 것.

제안 방법

• 저자는 GitHub 저장소에서 수백만 개의 버그 수정 커밋을 추출하여 실제 세계의 버그 있는 코드와 수정된 코드 쌍을 수집한다.
• 식별자와 리터럴을 자리표시자로 대체하여 소스 코드를 추상화함으로써, 노이즈를 제거하면서도 구문적 및 구조적 패턴을 유지한다.
• 어텐션 메커니즘을 사용한 시퀀스-투-시퀀스 학습을 통해 버그 있는 코드(입력)를 수정된 코드(출력)로 번역하는 데 사용되는 인코더-디코더 신경망 아키텍처를 훈련한다.
• 모델은 훈련 데이터의 10%에서 90%까지 훈련하여 확장성과 성능 간의 상충 관계를 평가하지만, 전체 훈련 곡선은 향후 연구에 남겨진다.
• 모델 추론 과정에서 다수의 후보 패치를 생성하고, 인간이 작성한 수정 사례와 유사도 기반으로 가장 성능이 좋은 패치를 선택한다.
• 작은 BFPs(≤100 토큰)와 중간 크기의 BFPs(101–200 토큰) 두 가지 데이터셋에서 평가하며, 패치의 정확성과 AST 연산 커버리지에 대한 정량적 및 정성적 분석을 수행한다.

실험 결과

연구 질문

• RQ1 실제로 오픈소스 저장소의 개발자 변경 사항을 기반으로 신경 기계 번역(NMT)이 실제 세계의 버그 수정 패치를 효과적으로 학습하여 생성할 수 있는가?
• RQ2 NMT 모델의 인간이 작성한 패치 예측 정확도는 얼마나 되며, 생성하는 후보 패치의 수에 따라 성능은 어떻게 변하는가?
• RQ3 실제 버그 수정에서 흔히 사용되는 추상구문트리(_AST_) 연산을 모델이 어느 정도 모방할 수 있는가?
• RQ4 모델은 후보 패치를 생성하는 데 얼마나 효율적인가? 개발 워크플로우에 실시간으로 적용할 수 있는가?
• RQ5 훈련 데이터 크기의 모델 성능에 대한 영향은 무엇이며, 특정 데이터 임계값을 초과하면 수익 감소 현상이 나타나는가?

주요 결과

• NMT 모델은 2,927개의 고유한 작은 BFPs(최대 100 토큰)를 성공적으로 수정하였으며, 생성한 후보 패치 수에 따라 9–50%의 예측 정확도를 달성하였다.
• 중간 크기의 BFPs(101–200 토큰)에 대해서는 동일한 후보 생성 조건 하에 1,869개의 고유한 버그를 수정하였고, 정확도는 3–28%였다.
• 생성된 패치의 82% 이상이 문법적으로 유효하여 강력한 구조적 정확성을 보였다.
• 모델 $M_{small}$은 실제 수정에서 수행된 AST 연산의 28–64%를 모방하였고, $M_{medium}$은 16–52%의 커버리지 달성하였다.
• 모델은 1초 이내로 수십 개의 후보 패치를 생성하여 실시간 통합에 적합한 높은 추론 효율성을 입증하였다.
• 이 연구는 NMT 기반 모델이 실제 세계의 코드 변경 이력에서 학습할 수 있음을 강력한 경험적 기반으로 확립하였으며, 확장 가능하고 데이터 기반의 프로그램 수리 구현 가능성을 제시한다.