[论文解读] AI-powered Code Review with LLMs: Early Results

Zeeshan Rasheed, M. Sami+6 more|arXiv (Cornell University)|Apr 29, 2024

Law, AI, and Intellectual Property被引用 6

一句话总结

引入一个基于LLM的四智能体AI系统，用于自动代码审查，以识别漏洞、代码异味并优化代码，基于大型 GitHub 数据集进行训练。初步结果显示在多样化的 AI 项目中能够有效检测问题并给出可操作的改进建议。

ABSTRACT

In this paper, we present a novel approach to improving software quality and efficiency through a Large Language Model (LLM)-based model designed to review code and identify potential issues. Our proposed LLM-based AI agent model is trained on large code repositories. This training includes code reviews, bug reports, and documentation of best practices. It aims to detect code smells, identify potential bugs, provide suggestions for improvement, and optimize the code. Unlike traditional static code analysis tools, our LLM-based AI agent has the ability to predict future potential risks in the code. This supports a dual goal of improving code quality and enhancing developer education by encouraging a deeper understanding of best practices and efficient coding techniques. Furthermore, we explore the model's effectiveness in suggesting improvements that significantly reduce post-release bugs and enhance code review processes, as evidenced by an analysis of developer sentiment toward LLM feedback. For future work, we aim to assess the accuracy and efficiency of LLM-generated documentation updates in comparison to manual methods. This will involve an empirical study focusing on manually conducted code reviews to identify code smells and bugs, alongside an evaluation of best practice documentation, augmented by insights from developer discussions and code reviews. Our goal is to not only refine the accuracy of our LLM-based tool but also to underscore its potential in streamlining the software development lifecycle through proactive code improvement and education.

研究动机与目标

• 推动使用大语言模型（LLMs）来提升代码审查，超越传统静态分析。
• 开发一个可以检测代码异味、漏洞以及是否符合最佳实践的 AI 代理框架。
• 提供可操作的改进建议和潜在的代码优化。
• 展示在真实项目中基于 LLM 的反馈的可行性和开发者的接受度。
• 概述未来工作，将 LLM 生成的文档与人工方法进行比较。

提出的方法

• 定义一个由四个专门代理组成的 LLM 辅助代码审查架构：Code Review、Bug Report、Code Smell 和 Code Optimization Agents。
• 在包含代码审查、缺陷报告和最佳实践文档的大规模代码库语料上对代理进行训练。
• 使用 GitHub REST API 访问公开仓库数据用于训练和评估。
• 在 10 个 AI 基于的 GitHub 项目上评估该系统，以评估其识别问题和提出改进建议的能力。
• 强调主动识别问题和超越静态分析的优化机会。

实验结果

研究问题

• RQ1 RQ1：基于 LLM 的 AI 代理如何通过识别潜在问题并提供可操作的建议，来有效协助代码审查？

主要发现

• 该模型在多种编程语言和 AI 领域中，识别出从轻微错误到代码异味和低效的问题。
• 在 DeepDive 中，模型识别出了一个 Unicode 解析错误并建议重构一个庞大的单一函数。
• 在 NeuroStartUp 中，硬编码参数被标记为代码异味，并建议可配置性。
• 在 VisionQuest 中，过时的图像分割算法被替换为更现代、更高效的选项。
• 在 LinguaKit 中，通过并行处理和更好的数据结构缓解了大型文本处理的瓶颈。
• 其他项目（AIFriendly、QuantumLeap、BioNexus、EcoSim、RoboTutor、SafeRoute）提供了关于错误、重构、缓存和数据处理的详细反馈，以提高鲁棒性和性能。