[논문 리뷰] SelfAPR: Self-supervised Program Repair with Test Execution Diagnostics

He Ye, Matías Martínez외 3명|arXiv (Cornell University)|2022. 03. 23.

Software Testing and Debugging Techniques인용 수 10

한 줄 요약

SelfAPR는 대상 프로그램의 과거 버전을 변형하여 프로젝트별 훈련 샘플을 생성하고, 테스트 실행 진단 정보를 입력 표현에 통합하여 수리 지도하는 자기지도 프로그램 수리 프레임워크를 제안한다. 이는 Defects4J 버그에서 110건의 수리를 달성하며, 이전의 모든 지도 학습 기반 접근 방식을 능가한다. 이는 도메인 특화 지식과 결함 유형 인식의 격차를 해결함으로써 달성된다.

ABSTRACT

Learning-based program repair has achieved good results in a recent series of papers. Yet, we observe that the related work fails to repair some bugs because of a lack of knowledge about 1) the application domain of the program being repaired, and 2) the fault type being repaired. In this paper, we solve both problems by changing the learning paradigm from supervised training to self-supervised training in an approach called SelfAPR. First, SelfAPR generates training samples on disk by perturbing a previous version of the program being repaired, enforcing the neural model to capture projectspecific knowledge. This is different from the previous work based on mined past commits. Second, SelfAPR executes all training samples and extracts and encodes test execution diagnostics into the input representation, steering the neural model to fix the kind of fault. This is different from the existing studies that only consider static source code as input. We implement SelfAPR and evaluate it in a systematic manner. We generate 1 039 873 training samples obtained by perturbing 17 open-source projects. We evaluate SelfAPR on 818 bugs from Defects4J, SelfAPR correctly repairs 110 of them, outperforming all the supervised learning repair approaches.

연구 동기 및 목표

• 지난 커밋에서 추출한 데이터에 기반한 지도 학습 기반 프로그램 수리에서의 프로젝트별 지식 부족 문제를 해결하여 도메인 특화 토큰에 대한 일반화 능력을 향상시키기 위해.
• 훈련 데이터에 결함 유형 정보가 부재하여 NullPointerException과 같은 특정 버그 유형의 수리가 어려운 문제를 해결하기 위해.
• 실제 커밋을 추출하는 데 의존하지 않고도 합성된 프로젝트 인식 훈련 샘플을 생성하는 자기지도 훈련 프레임워크를 개발하기 위해.
• 테스트 실행에서 유도된 런타임 진단 정보를 입력 표현에 통합하여 특정 결함 유형을 수리하는 데 모델을 안내하기 위해.
• 실제 벤치마크에서 자기지도 학습의 효과성을 평가하여, 이전에 지도 학습 모델이 수리하지 못한 버그에 대해서도 성능을 확보하기 위해.

제안 방법

• SelfAPR는 수리 대상 프로그램의 과거 버전을 체계적으로 변형하여 총 1,039,873개의 훈련 샘플을 생성함으로써, 훈련 데이터에 프로젝트별 토큰이 포함되도록 보장한다.
• 모든 생성된 훈련 샘플을 실행하여 런타임 예외 및 애셋션 실패와 같은 테스트 실행 진단 정보를 수집하고, 이를 입력 표현에 인코딩한다.
• 테스트 실행 진단 정보는 신경 모델의 추가 입력 토큰으로 통합되어 수리 예측 시 결함 유형 신호를 제공한다.
• 자기지도 훈련 루프는 외부 커밋에 의존하지 않고, 변형된 과거 버전을 훈련 데이터의 소스로 사용함으로써 지도 학습을 대체한다.
• 모델은 소스 코드와 진단 신호를 모두 포함한 풍부한 입력 표현을 사용하는 인코더-디코더 아키텍처를 활용하여 정확한 패치를 예측한다.
• 문장 수준 토크나이저(SentencePiece)를 활용하고, 합성 데이터셋에서 사전 학습된 모델을 미세 조정함으로써, 미리 보지 못한 버그에 대한 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 프로젝트별 변형을 통한 자기지도 훈련이, 과거 커밋을 추출한 지도 학습을 초월하여 신경망 기반 프로그램 수리 성능을 향상시킬 수 있는가?
• RQ2 입력 표현에 테스트 실행 진단 정보를 통합하면 모델이 특정 결함 유형의 수리 능력이 향상되는가?
• RQ3 기존의 지도 학습 기반 신경 수리 모델이 프로젝트별 토큰이 부족하여 실패한 버그를 SelfAPR이 수리할 수 있는가?
• RQ4 기존의 최첨단 지도 학습 기반 수리 도구와 비교했을 때 SelfAPR은 표준 벤치마크에서 어떤 성능을 보이는가?
• RQ5 실행 진단 정보의 통합이 수리 정확도와 결함 유형 일반화 능력 향상에 어느 정도 기여하는가?

주요 결과

• SelfAPR는 Defects4J 벤치마크의 818개 버그 중 110개를 성공적으로 수리하여, 이전의 모든 지도 학습 기반 수리 접근 방식을 능가한다.
• 기존 방법이 실패한 110개의 버그를 수리하며, requiresLevel.isOn()과 같은 프로젝트별 토큰이 이전 시스템의 훈련 데이터에 존재하지 않아도 수리가 가능함을 입증한다.
• 테스트 실행 진단 정보를 활용함으로써 SelfAPR은 NullPointerException과 같은 결함 유형을 식별하고 수리할 수 있으며, 이는 정적 코드 분석에만 의존하는 모델이 자주 간과하는 결함을 보완한다.
• 자기지도 훈련 루프는 17개의 오픈소스 프로젝트에서 1,039,873개의 훈련 샘플을 생성하여 모델에 풍부한 프로젝트별 지식을 통합한다.
• 진단 정보를 입력에 통합함으로써 SelfAPR은 특정 결함 유형에 대한 수리에 더 집중하도록 모델을 이끌어 정밀도와 일반화 능력을 향상시킨다.
• 실행 피드백을 활용한 자기지도 데이터 생성 방식이, 실제 커밋을 추출하는 것보다 신경망 기반 프로그램 수리에 더 효과적임을 입증한다.