[논문 리뷰] Fixing Rust Compilation Errors using LLMs

Pantazis Deligiannis, Akash Lal외 2명|arXiv (Cornell University)|2023. 08. 09.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 고급 프롬프팅과 반복적 LLM 정련을 사용하여 Rust 컴파일 에러를 자동으로 수정하는 LLM 기반 도구인 RustAssistant를 제시한다. 실제 인기 있는 오픈소스 레포지토리에서 발생하는 실세계 에러에 대해 최대 74%의 정확도를 달성하며, 강력한 안전 보장을 갖춘 복잡한 시스템 프로그래밍 이슈 디버깅에 LLM의 효과를 입증한다.

ABSTRACT

The Rust programming language, with its safety guarantees, has established itself as a viable choice for low-level systems programming language over the traditional, unsafe alternatives like C/C++. These guarantees come from a strong ownership-based type system, as well as primitive support for features like closures, pattern matching, etc., that make the code more concise and amenable to reasoning. These unique Rust features also pose a steep learning curve for programmers. This paper presents a tool called RustAssistant that leverages the emergent capabilities of Large Language Models (LLMs) to automatically suggest fixes for Rust compilation errors. RustAssistant uses a careful combination of prompting techniques as well as iteration with an LLM to deliver high accuracy of fixes. RustAssistant is able to achieve an impressive peak accuracy of roughly 74% on real-world compilation errors in popular open-source Rust repositories. We plan to release our dataset of Rust compilation errors to enable further research.

연구 동기 및 목표

• Rust의 소유권과 참조 시스템의 날카로운 학습 곡선으로 인해 초보자들이 종종 혼란스러운 컴파일 에러에 부딪히는 문제를 해결하기 위해.
• 컴파일 에러 수정을 위한 조언을 자동화하여 Rust 프로그램 디버깅에 소요되는 시간과 인지적 부담을 줄이기 위해.
• LLM이 복잡한 Rust 타입 시스템과 빌로우 체커 에러를 이해하고 해결하는 데 효과적인지 평가하기 위해.
• 미래의 프로그램 수리 및 LLM 기반 디버깅 연구를 지원하기 위해 실제 레포지토리에서 수집한 실세계 Rust 컴파일 에러 데이터셋을 구축하고 공개하기 위해.

제안 방법

• RustAssistant는 LLM이 코드를 점진적으로 이해하고 수정할 수 있도록 도와주는 커스터마이즈된 changelog 기반 프롬프트 형식을 사용한다.
• 반복적 프롬프팅을 적용하여 LLM이 수정안을 생성하고, 시스템이 여러 라운드에 걸쳐 검증 및 정련한다.
• 도구는 Rust 컴파일러와 통합되어 컴파일 에러를 탐지한 후, LLM을 활용해 패치를 제안하고 적용한다.
• GPT-3.5와 GPT-4 모델을 활용하며, Rust의 고유한 타입 시스템과 에러 의미에 맞게 프롬프트 엔지니어링을 수행한다.
• 수정안의 정확성을 검증하기 위해 수정된 코드를 재컴파일하여 검증한다.
• 평가를 위해 crates.io의 상위 크레이트들에서 182개의 GitHub 커밋에서 실컴파일 에러를 수집한 데이터셋을 구축하였다.

실험 결과

연구 질문

• RQ1 LLM은 소유권과 참조와 관련된 복잡한 Rust 컴파일 에러를 효과적으로 이해하고 수정할 수 있는가?
• RQ2 프롬프트 엔지니어링과 반복적 정련은 Rust 에러 수정에 대한 LLM 생성 수정안의 정확도에 어떤 영향을 미치는가?
• RQ3 실세계 Rust 컴파일 에러 수정에서 GPT-3.5와 GPT-4 간의 성능 차이는 어떠한가?
• RQ4 LLM 기반 도구는 컴파일 에러를 초월하여 다른 종류의 Rust 개발 문제에도 일반화될 수 있는가?

주요 결과

• RustAssistant는 상위 Rust 크레이트에서 발생한 실제 컴파일 에러를 포함한 GitHub 커밋에서 최고 73.63%의 정확도를 달성하였다.
• Stack Overflow 프로그램에 대해 GPT-4를 사용할 경우, 컴파일 에러의 72%를 수정하였다.
• 공식 Rust 에러 코드 506개 중 270개를 포함한 마이크로 벤치마크에서 GPT-4는 92.59%의 수정률을 기록하였다.
• 모든 평가 설정에서 GPT-4는 GPT-3.5를 뚜렷이 앞서며, 모델 규모와 추론 능력의 영향을 확인하였다.
• 제거 실험 결과, 반복적 프롬프팅과 커스터마이즈된 프롬프트 엔지니어링이 높은 수정 정확도를 확보하는 데 핵심 요소임을 입증하였다.
• 저자들은 향후 연구를 지원하기 위해 인기 있는 Rust 레포지토리에서 수집한 실세계 컴파일 에러 182건의 데이터셋을 공개하였다.