[논문 리뷰] Program Repair

Xiang Gao, Yannic Noller외 1명|arXiv (Cornell University)|2022. 11. 23.

Software Testing and Debugging Techniques인용 수 4

한 줄 요약

이 논문은 자동 프로그램 수리 기법에 대한 종합적인 서베이를 제시하며, 이를 검색 기반, 제약 기반, 학습 기반 접근 방식으로 분류한다. 수리 과적합(patch overfitting)을 핵심 과제로 규명하고 이를 완화하는 방법을 탐색하며, 도구, 산업 응용 사례, 그리고 대규모 언어 모델(LLMs)을 활용한 프로그램 수리의 미래 기회도 다룬다.

ABSTRACT

Automated program repair is an emerging technology which consists of a suite of techniques to automatically fix bugs or vulnerabilities in programs. In this paper, we present a comprehensive survey of the state of the art in program repair. We first study the different suite of techniques used including search based repair, constraint based repair and learning based repair. We then discuss one of the main challenges in program repair namely patch overfitting, by distilling a class of techniques which can alleviate patch overfitting. We then discuss classes of program repair tools, applications of program repair as well as uses of program repair in industry. We conclude the survey with a forward looking outlook on future usages of program repair, as well as research opportunities arising from work on code from large language models.

연구 동기 및 목표

• 자동 프로그램 수리 분야의 최신 기법에 대한 종합적인 개요 제공.
• 수리 과적합—주어진 테스트 케이스에서는 통과하지만 미리보지 않은 입력에선 실패하는 수리—의 핵심 과제를 분석하고 이를 완화하는 전략을 규명.
• 실제 소프트웨어 개발 및 산업 현장에서의 프로그램 수리 도구의 발전과 응용을 검토.
• 대규모 언어 모델(LLMs)이 프로그램 수리에 어떻게 기여하거나 기존 수리 기법을 향상시키거나 보완할 수 있는지 탐색.
• 특히 프로그램 수리와 LLM 기반 코드 생성을 통합하는 데 초점을 맞춘 향후 연구 방향 개선.

제안 방법

• 프로그램 수리를 검색 기반(예: GenProg), 제약 기반(예: 수리 제약 조건이 적용된 심볼릭 실행), 학습 기반(예: GetaFix, 인간 수리 패치를 학습한 신경망 모델)의 세 가지 주요 범주로 분류.
• 수리 제약 조건을 통해 검색 공간을 암시적으로 표현하는 의미론적 수리 기법을 분석하여 최소화되고 올바른 패치를 생성하는 프로그램 합성 가능하게 함.
• 후보 패치의 순위를 매기는 기계 학습 기법을 검토하여 비가능한 수리 방식을 걸러내어 효율성과 품질 향상.
• 언어 모델 기반 코드 생성(예: GitHub Copilot, Codex)을 수리 파이프라인에 통합하는 방식을 분석하며, 특히 타겟 코드 수정을 위한 에디트 모드의 활용을 중심으로 다룸.
• LLM이 생성한 코드 후보를 의미론적 분석을 통해 분석하고 정제하여 정확한 패치 요소를 추출하고 조합하는 하이브리드 접근 방식을 제안.
• 여러 LLM 후보에서 유사한 코드 스니펫을 식별하여 등가 클래스 탐지 기법을 적용해 견고하고 의미적으로 올바른 패치를 합성하는 방법을 제안.

실험 결과

연구 질문

• RQ1 검색 기반, 제약 기반, 학습 기반의 다양한 프로그램 수리 기법은 효과성과 확장성 측면에서 어떻게 비교될 수 있는가?
• RQ2 프로그램 수리에서 수리 과적합은 무엇이 원인이며, 이를 효과적으로 완화할 수 있는 기법은 무엇인가?
• RQ3 기계 학습은 자동 수리에서 후보 패치의 순위 매기기와 선택을 어떻게 향상시킬 수 있는가?
• RQ4 대규모 언어 모델은 기존 프로그램 수리 워크플로우에 어떻게 기여하거나 변화시킬 수 있는가?
• RQ5 LLM 기반 코드 생성의 증가 추세를 고려할 때 프로그램 수리 기법은 어떻게 진화할 수 있는가?

주요 결과

• GenProg와 같은 검색 기반 수리 기법은 큰 프로그램까지 확장 가능하지만, 큰 명시적 검색 공간에서 어려움을 겪는다.
• 심볼릭 실행과 프로그램 합성을 활용한 제약 기반 수리 기법은 검색 공간을 암시적으로 표현함으로써 최소화되고 올바른 패치 생성이 가능하다.
• GetaFix와 같은 학습 기반 수리 방법은 채굴된 인간 수리 패치를 기반으로 학습함으로써 일반적인 버그를 높은 재현율로 수정한다.
• 수리 과적합은 여전히 심각한 과제이며, 테스트 셋이 완전한 명세가 아니기 때문에 테스트 케이스에서는 통과하지만 미리보지 않은 입력에선 실패하는 수리가 발생한다.
• 최근의 언어 모델 기반 도구인 GitHub Copilot의 에디트 모드는 자동 생성된 코드에서 전통적인 패tern 기반 및 학습 기반 수리 도구를 뛰어넘는 성능을 보인다.
• 향후 프로그램 수리는 LLM이 생성한 코드 후보를 의미론적 분석과 융합하여 정확한 패치 요소를 추출하고 조합함으로써, LLM과 분석 기반 수리 간의 상호보완적 역할을 수행할 것으로 예상된다.