[논문 리뷰] Patching as Translation: The Data and the Metaphor

Yangruibo Ding, Baishakhi Ray외 2명|arXiv (Cornell University)|2020. 05. 08.

Artistic and Creative Research참고 문헌 33인용 수 11

한 줄 요약

이 논문은 자동 프로그램 수리에서 널리 퍼진 '패치 생성은 번역과 같다'는 은유에 도전하며, 언어 작업을 위한 신경 기계 번역(NMT) 모델이 작업 설계, 아키텍처, 손실 목적함수의 근본적인 불일치로 인해 코드 수리에서는 성능이 떨어진다는 것을 입증한다. 경험적 분석과 버그가 있는 컨텍스트를 조건으로 편집을 생성하는 새로운 순서-순서 모델을 통해 저자들은 컨텍스트 인식 편집 생성이 NMT 기반 번역 접근 방식보다 뚜렷하게 뛰어나며, 특히 최소의 영향을 미치는 코드 변경을 다룰 때 유의미하다고 보여준다.

ABSTRACT

Machine Learning models from other fields, like Computational Linguistics, have been transplanted to Software Engineering tasks, often quite successfully. Yet a transplanted model's initial success at a given task does not necessarily mean it is well-suited for the task. In this work, we examine a common example of this phenomenon: the conceit that "software patching is like language translation". We demonstrate empirically that there are subtle, but critical distinctions between sequence-to-sequence models and translation model: while program repair benefits greatly from the former, general modeling architecture, it actually suffers from design decisions built into the latter, both in terms of translation accuracy and diversity. Given these findings, we demonstrate how a more principled approach to model design, based on our empirical findings and general knowledge of software development, can lead to better solutions. Our findings also lend strong support to the recent trend towards synthesizing edits of code conditional on the buggy context, to repair bugs. We implement such models ourselves as "proof-of-concept" tools and empirically confirm that they behave in a fundamentally different, more effective way than the studied translation-based architectures. Overall, our results demonstrate the merit of studying the intricacies of machine learned models in software engineering: not only can this help elucidate potential issues that may be overshadowed by increases in accuracy; it can also help innovate on these models to raise the state-of-the-art further. We will publicly release our replication data and materials at https://github.com/ARiSE-Lab/Patch-as-translation.

연구 동기 및 목표

• 자동 프로그램 수리에서 '소프트웨어 패치 생성은 언어 번역과 같다'는 은유의 타당성을 조사하기 위해.
• 신경 기계 번역(NMT) 모델과 프로그램 수리 작업 사이의 임계적인 불일치를 특정하고 경험적으로 입증하기 위해.
• NMT 모델의 아키텍처 설계, 작업 정의, 손실 함수가 효과적인 코드 수리에 어떻게 방해가 되는지 평가하기 위해.
• 버그가 있는 코드를 조건으로 편집을 조건부로 생성하는 더 체계적인 컨텍스트 인식 모델을 제안하고 평가하기 위해.
• 정확도, 다양성, 문법적 정확성 측면에서 편집 기반 모델링이 번역 기반 모델링을 뛰어넘는 경험적 증거를 제공하기 위해.

제안 방법

• 저자들은 NMT 기반 패치 생성과 버그 컨텍스트를 조건으로 하는 새로운 편집 기반 순서-순서 모델을 비교하는 체계적인 경험적 사례 연구를 수행한다.
• 표준 메트릭을 사용해 모델을 평가한다: 정확한 일치 정확도, 빔 서치를 사용한 상위 5개 정확도, 학습 중 티처 포싱.
• 성능에 미치는 영향을 평가하기 위해 점점 더 많은 주변 코드 컨텍스트(최대 500 토큰)를 포함시킨다.
• 제안된 모델은 전체 시퀀스를 번역하는 것이 아니라 편집을 생성하므로, 버그를 수정하기 위해 필요한 최소한의 변경에 집중하며, 실제 수리 패턴과 더 잘 부합한다.
• 경험적 분석에는 컨텍스트 길이, 어텐션 메커니즘, 모델 용량에 대한 아블레이션 연구가 포함되어 실패 원인을 고립한다.
• 재현 가능성을 지원하고 향후 연구를 위해 복제 데이터와 코드를 공개한다.

실험 결과

연구 질문

• RQ1 패치 생성은 번역이다'는 은유가 자동 프로그램 수리의 기본 메커니즘을 얼마나 정확하게 반영하는가?
• RQ2 특히 순차적 생성과 순서-순서 생성을 특징으로 하는 NMT 모델의 아키텍처 선택이 효과적인 코드 수리에 어떻게 방해가 되는가?
• RQ3 토큰 겹침 기반 표준 NMT 손실 함수(예: BLEU)가 프로그램 수리 품질과 관련이 없는 이유는 무엇인가?
• RQ4 컨텍스트 인식 편집 생성 모델이 정확도와 문법적 정확성 측면에서 표준 NMT 기반 패치 생성보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 주변 코드 컨텍스트는 정확하고 다양한 패치 생성에 어떤 역할을 하는가? 그리고 왜 NMT 모델에 효과적으로 통합하기 어려운가?

주요 결과

• 전체 시퀀스를 순차적으로 생성하는 방식은 대부분의 코드 패치가 국소적이고 최소한의 변경만을 포함한다는 현실과 불일치하므로, 번역을 위한 NMT 모델은 프로그램 수리에서 성능이 떨어진다.
• 표준 NMT 손실 함수(예: BLEU)는 토큰 겹침 기반으로 작동하나, 많은 정확한 패치는 한두 개의 토큰만 다를 수 있으므로, 높은 정확도에도 불구하고 BLEU 점수는 낮게 나오며, 실제 수리 품질과의 상관관계가 떨어진다.
• 버그 코드만으로 학습된 모델은 부족한 컨텍스트로 인해 정확한 패치를 생성하지 못하며, 최대 500 토큰의 컨텍스트를 추가해도 성능 향상이 유의미하지 않아, 근본적인 모델링 한계를 드러낸다.
• 버그 컨텍스트를 조건으로 편집을 생성하는 제안된 편집 기반 모델은 NMT 기반 모델보다 유의미하게 높은 정확도와 더 나은 다양성을 달성하며, 특히 최소 변경 사례에서 뛰어난 성능을 보인다.
• NMT 모델의 어텐션 메커니즘은 조건이 제공된 경우에도 관련 버그 위치를 효과적으로 식별하지 못하며, 이는 수리 작업과의 아키텍처 불일치를 시사한다.
• 이 연구는 현재 NMT 기반 프로그램 수리 도구가 최적화되지 않은 것뿐 아니라, 근본적으로 작업과 부합하지 않는다는 것을 드러내며, 체계적인 모델 재설계의 필요성을 강조한다.