[논문 리뷰] A Syntax-Guided Edit Decoder for Neural Program Repair

Qihao Zhu, Zeyu Sun외 5명|arXiv (Cornell University)|2021. 06. 15.

Software Engineering Research인용 수 11

한 줄 요약

이 논문은 신경망 기반 프로그램 복구를 위한 문법 지도형 편집 디코더인 \\techname을 제안한다. 이는 전체 코드 시퀀스가 아니라 편집을 생성함으로써 문법적 타당성을 보장하며, 제공자/결정자 아키텍처를 통해 이를 실현하고, 프로젝트 고유의 식별자를 위한 플레이스홀더 생성을 지원한다. 이는 Defects4J v1.2에서 51개의 버그를 수정하여 이전 최고 성능(SOTA)보다 21.4% 더 많은 버그를 수정했으며, 이는 이 분야에서 딥러닝 기반 APR 기법이 전통적 방법을 능가한 최초의 사례이다.

ABSTRACT

Automated Program Repair (APR) helps improve the efficiency of software development and maintenance. Recent APR techniques use deep learning, particularly the encoder-decoder architecture, to generate patches. Though existing DL-based APR approaches have proposed different encoder architectures, the decoder remains to be the standard one, which generates a sequence of tokens one by one to replace the faulty statement. This decoder has multiple limitations: 1) allowing to generate syntactically incorrect programs, 2) inefficiently representing small edits, and 3) not being able to generate project-specific identifiers. In this paper, we propose Recoder, a syntax-guided edit decoder with placeholder generation. Recoder is novel in multiple aspects: 1) Recoder generates edits rather than modified code, allowing efficient representation of small edits; 2) Recoder is syntax-guided, with the novel provider/decider architecture to ensure the syntactic correctness of the patched program and accurate generation; 3) Recoder generates placeholders that could be instantiated as project-specific identifiers later. We conduct experiments to evaluate Recoder on 395 bugs from Defects4J v1.2 and 420 additional bugs from Defects4J v2.0. Our results show that Recoder repairs 53 bugs on Defects4J v1.2, which achieves 21.4% improvement over the previous state-of-the-art approach for single-hunk bugs (TBar). Importantly, to our knowledge, Recoder is the first DL-based APR approach that has outperformed the traditional APR approaches on this dataset. Furthermore, Recoder also repairs 19 bugs on the additional bugs from Defects4J v2.0, which is 137.5% more than TBar (8 bugs) and 850% more than SimFix (2 bugs). This result suggests that Recoder has better generalizability than existing APR approaches.

연구 동기 및 목표

• 표준 순서-순서 디코더의 한계를 해결하기 위해, 딥러닝 기반 프로그램 복구에서 문법적으로 잘못된 프로그램을 생성하고 작은 편집을 비효율적으로 표현한다는 점을 다루기 위해.
• 패치를 전체 코드 시퀀스가 아니라 편집으로 모델링하여 신경망 기반 프로그램 복구의 효율성과 정확성을 향상시키기 위해.
• 플레이스홀더 인스턴스화를 통해 프로젝트 고유의 식별자를 생성함으로써 맥락적 관련성을 향상시키기 위해.
• 기존의 딥러닝 기반 및 전통적 APR 접근법보다 뛰어난 일반화 능력과 성능을 달성하기 위해.
• 다시 설계된 디코더 아키텍처가 딥러닝 기반과 전통적 APR 기법 간의 성능 격차를 줄일 수 있는가를 입증하기 위해.

제안 방법

• 제안된 \\techname 디코더는 전체 코드 시퀀스가 아니라 토큰 대체, 삽입, 삭제와 같은 편집을 생성함으로써 소규모 변경을 효율적으로 표현한다.
• 제공자/결정자 아키텍처를 활용한다: 제공자는 후보 편집을 생성하고, 결정자는 문맥 자유 문법을 사용하여 대상 언어의 문법에 맞는지 검증한다.
• 모델은 나중에 후처리 단계에서 프로젝트 고유의 식별자로 인스턴스화되는 플레이스홀더 토큰을 도입한다. 이는 맥락 정확도를 향상시킨다.
• 디코더는 문법 인식 손실 함수를 사용한 순서-순서 프레임워크를 통해 엔드 투 엔드로 훈련된다. 이는 문법적으로 타당한 출력을 우선시하도록 한다.
• 에코더는 오류가 발생한 문장과 주변 맥락을 처리하여, 편집 디코더를 안내하는 잠재 표현을 생성한다.
• 변경되지 않은 코드 조각을 유지하고 생성 복잡도를 줄이기 위해 복사 메커니즘을 통합한다.

Figure 1. The Patch for Closure-14 in Defects4J

실험 결과

연구 질문

• RQ1 표준 순서-순서 디코더에 비해 문법 지도형 편집 디코더는 문법적 타당성과 효율성 측면에서 신경망 기반 프로그램 복구를 향상시킬 수 있는가?
• RQ2 편집 기반 표현 방식은 전체 코드 시퀀스 생성 방식에 비해 복구 효과성과 일반화 능력 측면에서 뛰어나게 작용하는가?
• RQ3 플레이스홀더 생성은 학습된 패치에 프로젝트 고유의 식별자를 더 잘 통합할 수 있는가?
• RQ4 \techname은 표준 벤치마크에서 딥러닝 기반 및 전통적 APR 접근법을 모두 초월하는가?
• RQ5 다시 설계된 디코더 아키텍처는 딥러닝 기반과 전통적 APR 시스템 간의 성능 격차를 줄일 수 있는가?

주요 결과

• \\techname은 Defects4J v1.2에서 51개의 버그를 수정하였으며, 이는 이전 SOTA인 TBar에 비해 21.4% 향상된 결과로, 단일 헉스(hunk) 버그의 경우 9개 더 많은 버그를 수정한 것이다.
• 추가로 Defects4J v2.0의 버그들에 대해서는 19개를 수정하였으며, 이는 TBar 대비 137.5% 향상되었고, SimFix 대비 850% 향상된 것으로, 강력한 일반화 능력을 보여준다.
• IntroClassJava에서는 기준 모델 대비 775% 향상되었고, QuixBugs에서는 30.8% 향상되어 다양한 벤치마크에서 광범위한 효과를 보였다.
• 저자들의 지식에 비추어볼 때, \\techname은 Defects4J v1.2 벤치마크에서 전통적 APR 기법을 능가한 최초의 딥러닝 기반 APR 접근법이다.
• 문법 지도형 제공자/결정자 아키텍처는 문법적으로 잘못된 패치의 생성을 크게 줄여 신뢰성과 훈련 효율성을 향상시켰다.
• 플레이스홀더 기반 식별자 생성은 맥락 인식 패치 생성을 가능하게 하여, 실제 프로젝트에서 복구된 코드의 관련성과 정확성을 향상시켰다.

Figure 2. The Patch for Lang-57 in Defects4J