[논문 리뷰] RunBugRun -- An Executable Dataset for Automated Program Repair

Julian Aron Prenner, Romain Robbes|arXiv (Cornell University)|2023. 04. 03.

Software Testing and Debugging Techniques인용 수 7

한 줄 요약

이 논문은 8개 프로그래밍 언어를 아우르는 450,000개의 버그 있는/수정된 프로그램 쌍으로 구성된 대규모 실행 가능한 데이터셋인 RunBugRun을 소개한다. 이는 실행 기반 평가 및 피드백을 가능하게 하여 신경망 기반 프로그램 수리(NPR)의 발전을 도모하도록 설계되었다. 이 데이터셋은 테스트 기반 검증, 오류 메시지 추출, 실행 트레이스 수집을 지원하며, 정적이고 실행 불가능한 학습 데이터의 한계를 극복하고 실행 인식형 수리 모델의 의미론적 정확도 평가를 향상시키는 다국어 기반 확장 가능한 벤치마크를 제공한다.

ABSTRACT

Recently, we can notice a transition to data-driven techniques in Automated Program Repair (APR), in particular towards deep neural networks. This entails training on hundreds of thousands or even millions of non-executable code fragments. We would like to bring more attention to an aspect of code often neglected in Neural Program Repair (NPR), namely its execution. Code execution has several significant advantages. It allows for test-based evaluation of candidate fixes and can provide valuable information to aid repair. In this work we present a fully executable dataset of 450,000 small buggy/fixed program pairs originally submitted to programming competition websites written in eight different programming languages. Along with the dataset we provide infrastructure to compile, safely execute and test programs as well as fine-grained bug-type labels. To give a point of reference, we provide basic evaluation results for two baselines, one based on a generate-and-validate approach and one on deep learning. With this dataset we follow several goals: we want to lift Neural Program Repair beyond fully static code representations, foster the use of execution-based features and, by including several different languages, counterbalance the predominance of Java in the current landscape of APR datasets and benchmarks.

연구 동기 및 목표

• 현재 정적이고 실행 불가능한 코드 片단에 의존하는 신경망 기반 프로그램 수리(NPR) 데이터셋에서 대규모 실행 가능한 코드의 부족 문제를 해결하기 위해.
• 기존 벤치마크에서 자바의 지배적 우세성에 대비해 8개의 다양한 프로그래밍 언어를 포함시켜 APR 연구의 언어 편향을 줄이기 위해.
• 보다 정확하고 의미론적으로 유의미한 수리 검증을 위해, 테스트 통통률 및 런타임 오류 메시지와 같은 실행 기반 평가 및 피드백을 가능하게 하기 위해.
• 각 프로그램 쌍에 대해 세분화되고 계층적인 버그 유형 레이블과 포괄적인 테스트 세트를 제공하여 세밀한 분석과 모델 평가를 지원하기 위해.
• 컴pile 및 테스트 실행을 활용한 피드백 루프를 지원하는 확장 가능한 정제된 데이터셋을 제공함으로써 실행 인식형 NPR 모델의 개발을 촉진하기 위해.

제안 방법

• 450,000개의 소규모 버그 있는/수정된 프로그램 쌍은 프로그래밍 경연 대회 웹사이트에서 채굴되었으며, 각 쌍이 문법적으로 유효하고 실행 가능한지 보장하였다.
• 각 프로그램은 샌드박스 환경에서 컴파일되고 실행되어 테스트 결과, 오류 메시지, 실행 트레이스를 수집하였다.
• 각 프로그램 쌍에 대한 포괄적인 테스트 세트를 사용하여 패치를 안전하게 컴파일하고 실행하며 검증하기 위한 표준화된 인fra를 구축하였다.
• 수리의 성격에 기반한 계층적 버그 유형 레이블(e.g., control_flow.break.add)이 데이터셋에 포함되어 세분화된 분석이 가능하도록 하였다.
• 데이터 분포가 일관된 훈련, 검증, 테스트 세트로 데이터셋을 분할하였으며, 모든 분할에서 실행 가능성과 테스트 커버리지가 유지되었다.
• 저자들은 생성-검증 모델과 딥러닝 모델을 사용한 베이스라인 평가를 제공하였으며, 이는 어휘 유사도가 아닌 테스트 세트 실행을 통해 평가되었다.

실험 결과

연구 질문

• RQ1 실행 기반 평가가 BLEU나 정확한 일치와 같은 정적 어휘 메트릭보다 신경망 기반 프로그램 수리 모델의 신뢰성을 향상시키는가?
• RQ2 테스트 통과율 및 오류 메시지와 같은 실행 피드백의 통합이 NPR 모델의 성능에 어떤 영향을 미치는가?
• RQ3 다양한 프로그래밍 언어에서의 다국어 학습이 APR 시스템의 일반화 능력과 적용 가능성에 어느 정도 기여하는가?
• RQ4 실행 가능한 테스트 세트 대비 정적 코드 유사도로 평가했을 때, 다양한 버그 유형에 따라 NPR 모델의 성능은 어떻게 달라지는가?
• RQ5 RunBugRun과 같은 대규모 실행 가능한 데이터셋이 테스트 실행 결과를 활용한 피드백 기반 학습과 같은 새로운 학습 패러다임을 가능하게 하는가?

주요 결과

• 이 데이터셋은 Go, Ruby, PHP, JavaScript를 포함한 8개의 프로그래밍 언어에서 450,000개의 실행 가능한 버그 있는/수정된 프로그램 쌍을 포함하며, 현재의 APR 벤치마크에서 자바가 지배하는 경향을 크게 초월한다.
• 실행 기반 평가 결과, 어휘 유사도 메트릭인 BLEU는 수리 정확도 평가에 부적절하며, 어휘적 변동으로 인해 의미적으로 올바른 수정도 페널티를 받을 수 있음을 확인하였다.
• 이 데이터셋에서 평가된 베이스라인 모델들은 테스트 세트 실행이 어휘 비교보다 더 신뢰성 있고 의미론적으로 유의미한 패치 검증 메트릭임을 입증하였다.
• 실행 피드백(예: 테스트 결과, 오류 메시지)의 통합은 NPR 성능 향상에 기여하며, 이는 이전 연구에서 소규모 서브셋에서 이러한 피드백을 사용해 7% 향상을 달성한 바가 있음으로써 입증되었다.
• 이 데이터셋은 테스트 실행에서 온 피드백을 활용한 모델 학습과 같은 새로운 연구 방향을 가능하게 하며, 다국어 버그를 처리할 수 있는 폴리글랏 APR 시스템 개발을 지원한다.
• 저자들은 실행이 스케일링 수준에서 가능할 뿐 아니라 의미론적 정확도를 포착하는 데 필수적이며, 현재의 NPR 연구에서 이러한 데이터가 부족하게 활용되고 있음을 입증하였다.