[논문 리뷰] RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic Program Repair

Weishi Wang, Yue Wang외 2명|arXiv (Cornell University)|2023. 09. 12.

Software Engineering Research인용 수 4

한 줄 요약

RAP-Gen은 코드베이스에서 관련 수정 패턴을 검색함으로써 CodeT5 기반 패치 생성을 향상시키는 검색 증강 프레임워크입니다. 하이브리드 어휘-의미 검색기와 통합된 CodeT5 기반 모델을 통합함으로써, 자바와 자바스크립트 벤치마크 전반에서 수리 정확도를 향상시켜 최신 기술 수준(SoTA) 성능을 달성하였으며, TFix에서 54.15%의 수리율을 기록하고 기존 방법보다 Defects4J에서 15개 더 많은 버그를 수정했습니다.

ABSTRACT

Automatic program repair (APR) is crucial to reduce manual debugging efforts for developers and improve software reliability. While conventional search-based techniques typically rely on heuristic rules or a redundancy assumption to mine fix patterns, recent years have witnessed the surge of deep learning (DL) based approaches to automate the program repair process in a data-driven manner. However, their performance is often limited by a fixed set of parameters to model the highly complex search space of APR. To ease such burden on the parametric models, in this work, we propose a novel Retrieval-Augmented Patch Generation framework (RAP-Gen) by explicitly leveraging relevant fix patterns retrieved from a codebase of previous bug-fix pairs. Specifically, we build a hybrid patch retriever to account for both lexical and semantic matching based on the raw source code in a language-agnostic manner, which does not rely on any code-specific features. In addition, we adapt a code-aware language model CodeT5 as our foundation model to facilitate both patch retrieval and generation tasks in a unified manner. We adopt a stage-wise approach where the patch retriever first retrieves a relevant external bug-fix pair to augment the buggy input for the CodeT5 patch generator, which synthesizes a ranked list of repair patch candidates. Notably, RAP-Gen is a generic APR framework that can flexibly integrate different patch retrievers and generators to repair various types of bugs. We thoroughly evaluate RAP-Gen on three benchmarks in two programming languages, including the TFix benchmark in JavaScript, and Code Refinement and Defects4J benchmarks in Java, where the bug localization information may or may not be provided. Experimental results show that RAP-Gen significantly outperforms previous state-of-the-art approaches on all benchmarks, e.g., repairing 15 more bugs on 818 Defects4J bugs.

연구 동기 및 목표

• 심층 학습 기반 모델의 부담을 줄이기 위해 외부의 명시적 수정 패턴을 통합함으로써 자동 프로그램 수리의 효율성을 높이는 것.
• 언어에 종속되지 않는 하이브리드 검색 기반 기법을 사용해 코드베이스에서 관련 버그-수리 쌍을 검색함으로써 수리 정확도를 향상시키는 것.
• CodeT5를 기초 모델로 사용하여 패치 검색과 생성을 하나의 프레임워크 내에서 통합하는 것.
• 다양한 자바스크립트 및 자바 APR 벤치마크에서 검색 증강 생성의 효과성을 입증하는 것.
• 개발자가 이전 수정 사례를 참조하는 디버깅 행동을 효과적으로 모델링하고 APR에 활용할 수 있는지 검증하는 것.

제안 방법

• 코드 특화 기능 없이도 원시 소스 코드에 대해 어휘적 및 의미적 매칭을 수행할 수 있는 하이브리드 패치 검색기를 설계하여 언어에 종속되지 않는 검색을 가능하게 합니다.
• 검색기는 이전 패치로 구성된 코드베이스에서 가장 관련성이 높은 버그-수리 쌍을 식별하여 생성기의 가이드 신호로 활용합니다.
• CodeT5는 검색과 생성을 위한 통합 모델로 미세조정되어 공유된 표현을 통해 엔드 투 엔드 학습이 가능합니다.
• 단계별 프레임워크는 먼저 관련된 수정 패턴을 검색한 후, 이를 버그가 있는 입력 코드에 통합한 다음 후보 패치를 생성합니다.
• 이 프레임워크는 다양한 검색기와 생성기와의 통합을 지원하므로 버그 유형과 프로그래밍 언어에 따라 다양한 환경에서의 유연한 구현이 가능합니다.
• 검색은 상위-k 전략을 사용하며, 검색된 수정 패턴은 버그 코드에 연결되어 생성 과정을 안내합니다.

실험 결과

연구 질문

• RQ1 관련된 이전 수정 패턴의 검색이 심층 학습 기반 프로그램 수리 모델의 성능 향상에 기여할 수 있는가?
• RQ2 순수한 파rametric 모델에 비해 검색 증강 기반 접근 방식은 다양한 벤치마크에서 수리 정확도 측면에서 어떻게 비교되는가?
• RQ3 삽입 블록, 문장 삭제 등의 유형 중 어떤 종류의 수정 패턴이 수리 생성을 안내하는 데 가장 효과적인가?
• RQ4 검색 기반 기법이 실제 개발자의 디버깅 행동을 어느 정도 반영하고 있는가?
• RQ5 코드 특화 기능 없이도 이 프레임워크가 다양한 프로그래밍 언어와 버그 유형으로 일반화 가능한가?

주요 결과

• RAP-Gen은 자바스크립트 TFix 벤치마크에서 54.15%의 수리 정확도를 기록하였으며, T5-large 기준보다 4.45%p 높은 성능을 보였습니다 (49.70%).
• 자바 Defects4J 벤치마크에서 RAP-Gen은 이전 최신 기술 수준(SoTA) 방법보다 15개 더 많은 버그를 수정하여 실제 수리 환경에서의 상당한 성과 향상을 입증했습니다.
• 하이브리드 검색기는 관련성이 높은 수정 패턴을 효과적으로 검색하였으며, 39개의 복잡한 버그에서 P13('기존 블록 삽입')과 P14('문장 삭제')가 가장 효과적인 수정 패턴으로 나타났습니다.
• SelfAPR 등에서 제공하는 규칙 기반 수정 패턴에서의 검색은 39개의 이전에 수정되지 않은 Defects4J 버그에서 CodeT5의 성능을 향상시켜, 검색 기반 생성의 가치를 확인했습니다.
• 버그 로컬라이제이션 정보가 제공되지 않은 상황에서도 프레임워크는 강력한 성능을 유지하여 실용적 환경에서의 강인함을 입증했습니다.
• 제거 실험을 통해 검색기의 어휘적 및 의미적 매칭 모두가 검색 품질과 후속 수리 정확도 향상에 기여한다는 점을 확인했습니다.