[논문 리뷰] A Survey of Learning-based Automated Program Repair

Quanjun Zhang, Chunrong Fang외 3명|arXiv (Cornell University)|2023. 01. 09.

Software Engineering Research인용 수 5

한 줄 요약

이 종합적 리뷰는 딥러닝을 활용하여 버그 수정을 자동으로 생성하는 학습 기반 자동 프로그램 복구(APR) 기법에 대한 포괄적인 개요를 제공한다. APR를 신경망 기계 번역 작업으로 간주함으로써 코드 패치를 자동 생성한다. 이 리뷰는 고장 위치 특정, 패치 생성, 순위 매기기, 검증 및 정확성 검사와 같은 핵심 구성 요소를 체계적으로 분석하며, 데이터셋, 평가 지표 및 실용적 과제를 강조하여 설명 가능하고 기능 향상된 APR 시스템을 위한 향후 연구를 위한 실질적인 지침을 제공한다.

ABSTRACT

Automated program repair (APR) aims to fix software bugs automatically and plays a crucial role in software development and maintenance. With the recent advances in deep learning (DL), an increasing number of APR techniques have been proposed to leverage neural networks to learn bug-fixing patterns from massive open-source code repositories. Such learning-based techniques usually treat APR as a neural machine translation (NMT) task, where buggy code snippets (i.e., source language) are translated into fixed code snippets (i.e., target language) automatically. Benefiting from the powerful capability of DL to learn hidden relationships from previous bug-fixing datasets, learning-based APR techniques have achieved remarkable performance. In this paper, we provide a systematic survey to summarize the current state-of-the-art research in the learning-based APR community. We illustrate the general workflow of learning-based APR techniques and detail the crucial components, including fault localization, patch generation, patch ranking, patch validation, and patch correctness phases. We then discuss the widely-adopted datasets and evaluation metrics and outline existing empirical studies. We discuss several critical aspects of learning-based APR techniques, such as repair domains, industrial deployment, and the open science issue. We highlight several practical guidelines on applying DL techniques for future APR studies, such as exploring explainable patch generation and utilizing code features. Overall, our paper can help researchers gain a comprehensive understanding about the achievements of the existing learning-based APR techniques and promote the practical application of these techniques. Our artifacts are publicly available at \url{https://github.com/QuanjunZhang/AwesomeLearningAPR}.

연구 동기 및 목표

• 딥러닝에 기반한 최신 학습 기반 자동 프로그램 복구(APR) 기법에 대한 체계적이고 최신의 종합적 리뷰 제공.
• 학습 기반 APR 파이프라인의 핵심 구성 요소인 고장 위치 특정, 패치 생성, 순위 매기기, 검증 및 정확성 검사 분석.
• APR 커뮤니티에서 널리 사용되는 데이터셋과 벤치마킹 평가 지표 평가 및 비교.
• 수리 도메인 일반화, 산업 적용 가능성, 개방 과학 관행과 같은 핵심 과제 논의.
• 향후 APR 연구를 위한 실질적 지침 제공: 설명 가능한 패치 생성 및 효과적인 코드 기능 활용.

제안 방법

• 버그가 있는 코드를 소스 시퀀스로, 수정된 코드를 타겟 시퀀스로 간주하여 APR를 신경망 기계 번역(NMT) 작업으로 모델링.
• Transformer 기반 아키텍처를 사용하여 CodeBERT, GraphCodeBERT, T5와 같은 사전 학습된 모델을 활용해 코드 패치를 인코딩하고 생성.
• 버그가 있는 코드에서 정상 코드 스니펫으로의 매핑을 학습하기 위해 어텐션 메커니즘을 적용한 순서-순서(Sequence-to-Sequence, Seq2Seq) 모델 사용.
• 패치 생성 이전에 고장 위치 특정 기법(예: 스펙트럼 기반 또는 딥러닝 기반)을 통합하여 고장이 발생할 가능성이 높은 코드 영역 식별.
• 정적 분석, 동적 테스팅 또는 LLM 기반 검증을 활용해 잘못된 패치를 걸러내기 위해 생성 후 검증 및 순위 매기기 모듈 통합.
• 모델의 사전 학습 및 미세조정을 위해 대규모 오픈소스 코드 리포지터리(예: defects4j, CodeForces, Java-100k) 활용.

실험 결과

연구 질문

• RQ1 최신 학습 기반 APR 시스템에서 핵심 아키텍처 및 방법론적 구성 요소는 무엇인가?
• RQ2 다양한 버그 유형과 프로그래밍 언어에서 서로 다른 딥러닝 모델의 성능은 어떻게 다른가?
• RQ3 학습 기반 APR 연구에서 가장 널리 사용되는 데이터셋과 평가 지표는 무엇인가?
• RQ4 산업 현장에 학습 기반 APR를 구현할 때 주요 과제는 무엇인가?
• RQ5 설명 가능성과 코드 전용 기능은 학습된 패치의 신뢰성과 해석 가능성 향상에 어떻게 기여할 수 있는가?

주요 결과

• 학습 기반 APR 기법은 다양한 미리 보지 못한 버그 패tern을 처리하는 데 있어 전통적인 패턴 기반 방법보다 뚜렷한 향상을 보였다.
• defects4j 및 Java-100k와 같은 대규모 코드 리포지터리에서 미세조정된 모델은 더 높은 패치 생성 정확도와 더 넓은 언어 지원을 보였다.
• 사전 학습된 코드 모델(예: CodeBERT, GraphCodeBERT)의 사용은 고장 위치 특정 및 패치 생성 모두에서 성능 향상에 크게 기여했다.
• 패치 검증 및 순위 매기기 모듈은 잘못된 결과를 줄이는 데 핵심적이며, 동적 테스팅과 LLM 기반 검증은 정확도 향상에 기여했다.
• 진전이 있었음에도 불구하고, 미리 보지 못한 버그 유형과 산업 규모의 시스템으로의 일반화는 여전히 주요 과제이다.
• 이 리뷰는 설명 가능한 패치 생성에 대한 격차를 확인하고, 모델의 투명성과 신뢰성 향상을 위해 코드 전용 기능의 통합을 더욱 강화할 것을 촉구한다.