[논문 리뷰] Learning to Generate Corrective Patches using Neural Machine Translation

Hideaki Hata, Emad Shihab외 1명|arXiv (Cornell University)|2018. 12. 18.

Software Engineering Research참고 문헌 137인용 수 37

한 줄 요약

이 논문은 과거 버그 수정 쌍을 모델링하여 수정 코드 패치를 생성하는 데 신경 기계 번역(NMT) 기반 시스템인 Ratchet을 제안한다. 이전 수정된 코드 스니펫과 후속 수정된 코드 스니펫을 기반으로 시퀀스 투 시퀀스 모델을 훈련시킴으로써 Ratchet는 문법적으로 타당한 수정을 F1 점수 0.29–0.83로 생성하며, 다섯 개의 오픈소스 프로젝트에서 실증 평가에서 98.7%의 문법적 타당성을 달성한다.

ABSTRACT

Bug fixing is generally a manually-intensive task. However, recent work has proposed the idea of automated program repair, which aims to repair (at least a subset of) bugs in different ways such as code mutation, etc. Following in the same line of work as automated bug repair, in this paper we aim to leverage past fixes to propose fixes of current/future bugs. Specifically, we propose Ratchet, a corrective patch generation system using neural machine translation. By learning corresponding pre-correction and post-correction code in past fixes with a neural sequence-to-sequence model, Ratchet is able to generate a fix code for a given bug-prone code query. We perform an empirical study with five open source projects, namely Ambari, Camel, Hadoop, Jetty and Wicket, to evaluate the effectiveness of Ratchet. Our findings show that Ratchet can generate syntactically valid statements 98.7% of the time, and achieve an F1-measure between 0.29 - 0.83 with respect to the actual fixes adopted in the code base. In addition, we perform a qualitative validation using 20 participants to see whether the generated statements can be helpful in correcting bugs. Our survey showed that Ratchet's output was considered to be helpful in fixing the bugs on many occasions, even if fix was not 100% correct.

연구 동기 및 목표

• 수정 작업의 수동적이고 시간 소모적인 성격을 해결하기 위해 학습 기반 기법을 활용해 패치 자동 생성을 자동화하는 것.
• 검색 기반 자동 수정의 한계(과적합 및 비가역적 검색 공간)를 극복하기 위해 테스트 기반 검색 대신 과거 수정 사례를 활용함으로써 기존의 접근 방식을 개선하는 것.
• 신경 기계 번역 기법이 과거 코드 변경 사례를 효과적으로 모델링하고 일반화하여 새로운 문법적으로 타당한 수정 패치를 생성할 수 있는지 탐색하는 것.
• 실제 소프트웨어 프로젝트에서 NMT 기반 패치 생성의 효과성을 평가하고, 패턴 기반 기준과 비교하는 것.
• 완벽하게 정확하지 않더라도 인간 평가를 통해 생성된 패치의 실용적 유용성을 평가하는 것.

제안 방법

• Ratchet는 버그가 있는 코드(소스)와 그에 해당하는 수정 사례(타겟)의 쌍을 기반으로 훈련된 신경 시퀀스 투 시퀀스(seq2seq) 모델을 사용하며, 패치 생성을 기계 번역 작업으로 간주한다.
• 모델은 버그가 포함된 코드 스니펫을 입력으로 받아 출력으로 수정된 버전을 생성하며, 입력과 출력 간의 관련 코드 세그먼트를 정렬하기 위해 어텐션 메커니즘을 활용한다.
• 훈련 데이터는 다섯 개의 오픈소스 프로젝트(Ambari, Camel, Hadoop, Jetty, Wicket)의 버전 제어 기록에서 추출되며, 버그 수정 전후의 코드 하이라이트를 추출한다.
• 모델은 문장 수준의 코드 변경 사례에 대해 피나이팅(fine-tuned)되어 다양한 프로그래밍 맥락에서 일반화 가능한 수정 패턴을 학습할 수 있도록 한다.
• 코드의 구조를 처리하기 위해 모델은 토큰화된 시퀀스로 코드를 처리하여, 정확한 패치 생성에 필수적인 구문적 및 의미적 관계를 유지한다.
• Ratchet는 정량적 지표(F1 점수, 문법적 타당성)와 정성적 인간 평가를 모두 활용하여 실용적 유용성을 평가한다.

실험 결과

연구 질문

• RQ1 신경 기계 번역 모델이 과거 버그 수정 쌍에서 효과적으로 문법적으로 타당하고 의미적으로 올바른 코드 패치를 생성할 수 있는가?
• RQ2 NMT 기반 Ratchet 시스템의 성능이 패턴 기반 기준(예: Plastic Surgery)과 비교해 볼 때 수정 정확도와 타당성 측면에서 어떻게 다른가?
• RQ3 Ratchet의 생성된 패치가 실제 버그 수정에 도움이 되는 정도는 어느 정도이며, 실제 수정과 정확히 일치하지 않더라도 유용한가?
• RQ4 특히 OOV(Out-of-Vocabulary) 토큰과 커버리지 문제에 대해 NMT 기반 접근 방식의 주요 실패 원인은 무엇인가?
• RQ5 모델은 다양한 소프트웨어 프로젝트 간에 일반화할 수 있으며, 리팩터링이나 기능 향상 패치와 같은 버그 수정 외의 코드 변경 사례도 처리할 수 있는가?

주요 결과

• Ratchet는 테스트 케이스의 98.7%에서 문법적으로 타당한 코드 패치를 생성하여 출력 품질의 높은 신뢰성을 입증했다.
• 평가된 다섯 개의 프로젝트에서 F1 점수는 0.29에서 0.83 사이로 나타나, 코드베이스 내 실제 수정 사례와 비교해 강력한 성능을 보였다.
• 모든 다섯 개의 프로젝트에서 Ratchet는 패턴 기반 기준(Plastic Surgery)보다 성능이 뛰어나거나 동일한 성능을 기록했다.
• 20명의 참가자에 대한 인간 평가 결과, Ratchet가 생성한 패치는 완전히 정확하지 않더라도 버그 수정에 도움이 된다고 평가되어 실용적 유용성이 확인되었다.
• Ratchet의 주요 한계는 OOV 문제와 추론 시 드문 또는 알려지지 않은 토큰의 완전한 커버리지 부족이었다.
• 모델은 버그 수정 외의 변경 사례에도 일반화 능력을 보였으며, 리팩터링 및 기능 향상 패치와 같은 비버그 수정 관련 코드 변경 사례에 대해서도 성공적으로 패치를 생성했다.