[论文解读] Fixing Rust Compilation Errors using LLMs

Pantazis Deligiannis, Akash Lal+2 more|arXiv (Cornell University)|Aug 9, 2023

Software Engineering Research被引用 4

一句话总结

本文提出 RustAssistant，一种基于大语言模型（LLM）的工具，通过高级提示工程和迭代式 LLM 优化，自动修复 Rust 编译错误。该工具在来自知名开源仓库的真实错误上实现了最高 74% 的准确率，证明了 LLM 在修复复杂系统编程问题（具有强安全保证）方面的有效性。

ABSTRACT

The Rust programming language, with its safety guarantees, has established itself as a viable choice for low-level systems programming language over the traditional, unsafe alternatives like C/C++. These guarantees come from a strong ownership-based type system, as well as primitive support for features like closures, pattern matching, etc., that make the code more concise and amenable to reasoning. These unique Rust features also pose a steep learning curve for programmers. This paper presents a tool called RustAssistant that leverages the emergent capabilities of Large Language Models (LLMs) to automatically suggest fixes for Rust compilation errors. RustAssistant uses a careful combination of prompting techniques as well as iteration with an LLM to deliver high accuracy of fixes. RustAssistant is able to achieve an impressive peak accuracy of roughly 74% on real-world compilation errors in popular open-source Rust repositories. We plan to release our dataset of Rust compilation errors to enable further research.

研究动机与目标

• 为解决 Rust 所有权和借用系统学习曲线陡峭的问题，该系统常导致初学者产生困惑的编译错误。
• 通过自动化建议编译错误修复方案，减少调试 Rust 程序所需的时间和认知负担。
• 评估大语言模型在理解与解决复杂 Rust 类型系统和借用检查器错误方面的能力。
• 构建并发布一个包含真实世界 Rust 编译错误的数据集，以支持未来在程序修复与 LLM 辅助调试方面的研究。

提出的方法

• RustAssistant 使用基于变更日志的自定义提示格式，引导 LLM 逐步理解并修改代码。
• 采用迭代式提示方法，即 LLM 生成修复方案，系统通过多轮验证与优化进行迭代改进。
• 该工具与 Rust 编译器集成，用于检测编译错误，随后利用 LLM 建议并应用补丁。
• 利用 GPT-3.5 和 GPT-4 模型，结合针对 Rust 独特类型系统与错误语义量身定制的提示工程。
• 通过重新编译修改后的代码验证修复结果的正确性。
• 从 crates.io 上的顶级 crate 中收集了 182 个包含真实编译错误的 GitHub 提交，用于评估该方法。

实验结果

研究问题

• RQ1 大语言模型能否有效理解并修复涉及所有权和借用的复杂 Rust 编译错误？
• RQ2 提示工程与迭代式优化对 LLM 生成的 Rust 错误修复准确率有何影响？
• RQ3 在修复真实世界 Rust 编译错误时，GPT-4 与 GPT-3.5 的性能差异如何？
• RQ4 基于大语言模型的工具在多大程度上能泛化到其他类型的 Rust 开发问题，而不仅限于编译错误？

主要发现

• RustAssistant 在来自顶级 Rust crate 的 GitHub 提交中，真实编译错误的修复准确率达到峰值 73.63%。
• 在 Stack Overflow 的程序中，使用 GPT-4 时，该工具修复了 72% 的编译错误。
• 在涵盖 270 个（共 506 个）官方 Rust 错误代码的微型基准测试中，GPT-4 实现了 92.59% 的修复率。
• 在所有评估场景中，GPT-4 显著优于 GPT-3.5，证实了模型规模与推理能力对性能的显著影响。
• 消融实验表明，迭代式提示与自定义提示工程对实现高修复准确率至关重要。
• 作者发布了包含 182 个来自流行 Rust 仓库的真实编译错误的数据集，以支持未来研究。