[논문 리뷰] ENCORE: Ensemble Learning using Convolution Neural Machine Translation for Automatic Program Repair

Thibaud Lutellier, Lawrence Pang외 3명|arXiv (Cornell University)|2019. 06. 20.

Software Testing and Debugging Techniques참고 문헌 69인용 수 10

한 줄 요약

ENCORE는 다양한 NMT 모델을 활용해 여러 프로그래밍 언어에서 버그를 수정하는 앙상블 컨volution 신경망 기반 기계 번역(NMT) 접근법을 제안한다. 이는 기존 방법보다 우수한 성능을 보이며, 자동 프로그램 복구 분야에서 최신 기술 수준을 달성한다. Java, C++, Python, JavaScript에서 5개 벤치마크에서 총 67개의 버그를 복구했으며, 이 중 16개는 이전에 해결되지 않은 버그였다.

ABSTRACT

Automated generate-and-validate (G&V) program repair techniques typically rely on hard-coded rules, only fix bugs following specific patterns, and are hard to adapt to different programming languages. We propose ENCORE, a new G&V technique, which uses ensemble learning on convolutional neural machine translation (NMT) models to automatically fix bugs in multiple programming languages. We take advantage of the randomness in hyper-parameter tuning to build multiple models that fix different bugs and combine them using ensemble learning. This new convolutional NMT approach outperforms the standard long short-term memory (LSTM) approach used in previous work, as it better captures both local and long-distance connections between tokens. Our evaluation on two popular benchmarks, Defects4J and QuixBugs, shows that ENCORE fixed 42 bugs, including 16 that have not been fixed by existing techniques. In addition, ENCORE is the first G&V repair technique to be applied to four popular programming languages (Java, C++, Python, and JavaScript), fixing a total of 67 bugs across five benchmarks.

연구 동기 및 목표

• 하나의 프로그래밍 언어로만 일반화되는 기존 자동 프로그램 복구(APR) 기법의 한계를 해결하기 위해 하드코딩된 규칙에 의존하는 기법의 문제점을 해결한다.
• 기존의 신경 기계 번역(NMT) 기반 APR 기법이 일반화 능력이 떨어지고 검색 공간이 제한되어 있어 복잡하거나 패턴 기반 아닌 버그를 해결하지 못하는 문제를 해결한다.
• 언어별 규칙에 의존하지 않고 데이터에서 직접 복구 패턴을 학습함으로써 다양한 프로그래밍 언어에서 효과적인 프로그램 복구를 가능하게 한다.
• 다양한 초모수를 가진 컨볼루션 NMT 모델을 앙상블 학습하여 다양한 복구 전략을 포괄함으로써 복구 효과를 향상시킨다.
• 버그의 맥락을 명시적으로 포함하지 않고 짧고 고정된 길이의 버그 발생 라인에서 수정된 라인 쌍으로 훈련함으로써 확장성과 더 큰 메서드에서의 성능 향상을 달성한다.

제안 방법

• 랜덤 서치를 통해 다양한 초모수를 가진 여러 컨볼루션 NMT 모델을 훈련시켜 모델 다양성을 확보함으로써 다양한 복구 패턴을 포착할 수 있도록 한다.
• 여러 NMT 모델의 예측을 앙상블 학습으로 통합함으로써 다양한 유형의 버그에 대해 더 높은 견고성과 일반화 능력을 확보한다.
• LSTM 기반 모델이 아닌 컨볼루션 인코더-디코더 아키텍처를 적용함으로써 코드 토큰 간 국소적 및 장거리 의존성을 더 잘 포착한다.
• 최대 수백만 개의 버그-수정 라인 쌍으로 훈련하여, 맥락 길이 문제를 방지하고 훈련 효율성을 향상시킨다.
• 프로그램의 테스트 셋을 사용해 생성된 패치를 검증하며, 컴iles되고 모든 결함 노출 테스트 케이스를 통과하는 최상위 순위의 수정 사항을 반환한다.
• 다단계 어텐션 메커니즘을 적용하여 모델 예측을 설명하고 개발자 및 모델 개발자 입장에서의 해석 가능성 향상

실험 결과

연구 질문

• RQ1 앙성 컨볼루션 NMT 모델은 표준 LSTM 기반 NMT 및 규칙 기반 G&V 기법보다 자동 프로그램 복구에서 더 나은 성능을 보일 수 있는가?
• RQ2 언어별 규칙 설계 없이 데이터 기반 신경 기반 NMT 접근법이 다양한 프로그래밍 언어 간에 얼마나 잘 일반화되는가?
• RQ3 입력 시퀀스에서 명시적 버그 맥락을 제거하면, 특히 더 큰 메서드에서 성능과 확장성 향상에 기여하는가?
• RQ4 다양한 NMT 모델에 대한 앙상블 학습이 기존 기법이 놓친 이전에 해결되지 않은 버그를 복구할 수 있는가?
• RQ5 제안된 접근법은 단순한 문법 오류나 컴파일 오류를 넘어서는 복잡한 버그를 얼마나 효과적으로 처리할 수 있는가?

주요 결과

• ENCORE는 4개 프로그래밍 언어(JAVA, C++, Python, JavaScript)에서 5개 벤치마크에서 총 67개의 버그를 복구했으며, 이는 기존 NMT 기반 및 규칙 기반 G&V 기법보다 뚜렷하게 뛰어난 성능을 보였다.
• ENCORE는 기존 기법이 해결하지 못한 16개의 버그를 성공적으로 복구하여 새로운 복구 패턴을 발견할 수 있는 능력을 입증했다.
• 컨볼루션 NMT 아키텍처는 코드 토큰 간 국소적 및 장거리 의존성을 더 잘 포착함으로써 표준 LSTM 기반 모델보다 뛰어난 성능을 보였다.
• 수백만 개의 고정 길이의 버그-수정 라인 쌍으로 훈련하고 명시적 맥락을 회피함으로써, 맥락에 민감한 접근법보다 더 뛰어난 확장성과 성능을 달성했다.
• ENCORE의 앙상블 학습 접근법은 초모수의 무작위성에 대한 민감도를 감소시키고 다양한 버그 유형에 걸쳐 견고성을 향상시켰다.
• 모델는 오버피팅된 패치를 생성하여 java.util.Arrays.asList에 잠재적인 라이브러리 수준의 버그를 드러내었으며, 이는 멘티언 생성 및 깊은 버그 탐지 가능성에 기여할 수 있다.