[논문 리뷰] Neural Program Repair by Jointly Learning to Localize and Repair

Marko Vasić, Aditya Kanade외 3명|arXiv (Cornell University)|2019. 04. 03.

Advanced Memory and Neural Computing인용 수 44

한 줄 요약

이 논문은 다중 헤드 포인터 네트워크를 사용하여 VarMisuse 버그를 로컬라이즈하고 수리하는 공동 신경망 모델을 도입하여, Enumerative 수리 방법 및 그래프 기반 기준선보다 성능이 우수함을 보인다.

ABSTRACT

Due to its potential to improve programmer productivity and software quality, automated program repair has been an active topic of research. Newer techniques harness neural networks to learn directly from examples of buggy programs and their fixes. In this work, we consider a recently identified class of bugs called variable-misuse bugs. The state-of-the-art solution for variable misuse enumerates potential fixes for all possible bug locations in a program, before selecting the best prediction. We show that it is beneficial to train a model that jointly and directly localizes and repairs variable-misuse bugs. We present multi-headed pointer networks for this purpose, with one head each for localization and repair. The experimental results show that the joint model significantly outperforms an enumerative solution that uses a pointer based model for repair alone.

연구 동기 및 목표

• 자동화된 VarMisuse 버그 수리를 통해 프로그래머의 생산성과 소프트웨어 품질을 향상시키는 동기를 제시한다.
• Enumerative 수리를 공동으로 분류, 로컬라이즈, 수리하는 모델로 대체한다.
• 포인터 네트워크를 활용해 버그 위치를 가리키고 입력 프로그램 내에서 변수들을 수리하도록 한다.
• 제안된 공동 모델을 기존의 Enumerative 접근법 및 그래프 기반 기준선과 대규모 Python 및 C# 데이터셋에서 평가한다.

제안 방법

• LSTM 인코더 위에 다중 헤드 포인터 네트워크를 사용해 버그 위치와 수리 변수를 공동으로 예측한다.
• 토큰 시퀀스와 토큰 및 변수에 대한 임베딩으로 프로그램을 표현한다.
• 정확한 프로그램에서 파생된 합성 버그-없는 예시와 버그가 있는 예시를 사용해 Loc와 Rep 포인터를 감독으로 활용해 학습한다.
• VarMisuseRepair가 프로그램 범위 내에서 위치 토큰(또는 무오류)을 출력하고 수리 토큰을 출력하도록 정의한다.
• 공동 모델과 슬롯별 수리를 예측하고 결과를 집계하는 Enumerative 수리 접근법을 비교한다.
• ETH-Py150(Python) 및 MSR-VarMisuse(C#) 데이터셋을 사용해 진짜 양성, 로컬라이제이션, 로컬라이제이션+수리 정확도 지표로 평가한다.

실험 결과

연구 질문

• RQ1 공동 VarMisuseRepair 모델이 Enumerative 수리 접근법보다 버그를 더 효과적으로 로컬라이즈하고 수리할 수 있는가?
• RQ2 알려지지 않은 버그의 존재가 비 Enumerative 설정에서 수리 정확도에 어떤 영향을 미치는가?
• RQ3 구문 정보로 제한될 때 포인터 네트워크 기반 접근이 VarMisuse 수리에 대해 그래프 기반 모델과 비교하여 어떤 차이가 있는가?
• RQ4 Enumerative 대 공동 모델에서 잘못된 슬롯 배치가 수리 성능에 미치는 영향은 무엇인가?

주요 결과

• 공동 모델은 다양한 설정에서 Enumerative 기준선보다 로컬라이제이션 정확도 71% 및 로컬라이제이션+수리 정확도 65.7%를 달성하며, 진짜 양성 및 분류 정확도는 각각 84.5%와 82.4%이다.
• Enumerative 접근법은 예측된 슬롯이 잘못되었거나 임계값이 조정될 때 로컬라이제이션 및 수리 정확도에 현저한 하락을 보이며, 예를 들어 특정 임계값에서 로컬라이제이션이 64.6%에서 7.0%로 감소한다.
• ETH-Py150에서 공동 모델은 최저 임계값/최대 상위-k 구성을 갖는 Enumerative 방법에 비해 로컬라이제이션을 약 6.4% 포인트, 로컬라이제이션+수리를 약 9.9 포인트 향상시킨다.
• 포인터-네트워크 기반 공동 모델링은 구문 정보만으로 제한된 경우 그래프 기반 수리 모델보다 우수하며 (MSR-VarMisuse의 ablation에서 테스트 시 62.3% 대 55.3%).
• 모델은 명시적 Enumerations 없이도 분류, 로컬라이즈, 수리를 학습하므로 학습 및 추론 시 효율성이 향상된다.