[论文解读] LLaMA-Reviewer: Advancing Code Review Automation with Large Language Models through Parameter-Efficient Fine-Tuning

Junyi Lu, Lei Yu+3 more|arXiv (Cornell University)|Aug 22, 2023

Software Engineering Research被引用 4

一句话总结

LLaMA-Reviewer 提出了一种参数高效的微调框架，利用 LLaMA 大型语言模型实现自动化代码审查，在代码审查任务上实现了最先进性能，且可训练参数少于 1%。尽管仅使用 6.7B 参数的基础模型和有限的微调轮次，其在审查必要性预测、评论生成和代码优化任务上的表现仍可匹配或超越现有针对代码审查设计的模型。

ABSTRACT

The automation of code review activities, a long-standing pursuit in software engineering, has been primarily addressed by numerous domain-specific pre-trained models. Despite their success, these models frequently demand extensive resources for pre-training from scratch. In contrast, Large Language Models (LLMs) provide an intriguing alternative, given their remarkable capabilities when supplemented with domain-specific knowledge. However, their potential for automating code review tasks remains largely unexplored. In response to this research gap, we present LLaMA-Reviewer, an innovative framework that leverages the capabilities of LLaMA, a popular LLM, in the realm of code review. Mindful of resource constraints, this framework employs parameter-efficient fine-tuning (PEFT) methods, delivering high performance while using less than 1% of trainable parameters. An extensive evaluation of LLaMA-Reviewer is conducted on two diverse, publicly available datasets. Notably, even with the smallest LLaMA base model consisting of 6.7B parameters and a limited number of tuning epochs, LLaMA-Reviewer equals the performance of existing code-review-focused models. The ablation experiments provide insights into the influence of various fine-tuning process components, including input representation, instruction tuning, and different PEFT methods. To foster continuous progress in this field, the code and all PEFT-weight plugins have been made open-source.

研究动机与目标

• 为解决训练领域特定代码审查模型所带来的高资源消耗问题，通过利用预训练大型语言模型（LLMs）来应对。
• 探索使用统一的 LLM（如 LLaMA）在自动化代码审查任务中的可行性与有效性。
• 通过参数高效的微调（PEFT）技术，降低代码审查自动化中的计算与存储开销。
• 评估输入表示、指令微调以及不同 PEFT 方法对代码审查性能的影响。
• 为软件工程工作流提供一种开源、保护隐私的封闭源代码 LLM API 替代方案。

提出的方法

• 采用基于统一 LLaMA 模型的微调方法，通过参数高效的微调（PEFT）最小化可训练参数量。
• 应用 LoRA（低秩适应）等 PEFT 方法，以少于原始参数 1% 的量对 LLaMA 模型进行微调。
• 设计与 LLaMA 预训练格式一致的输入表示，以更好地利用其少样本学习能力。
• 采用两阶段指令微调流程，提升模型处理自然语言指令并生成上下文相关输出的能力。
• 采用插件式模型架构，优化存储并实现微调权重在实际场景中的高效部署。
• 采用三阶段流水线：审查必要性预测、审查评论生成与代码优化，基于两个公开数据集进行评估。

实验结果

研究问题

• RQ1 统一的大型语言模型（如 LLaMA）是否能在无需任务特定预训练的情况下，实现代码审查自动化任务的竞争力表现？
• RQ2 参数高效的微调（PEFT）在降低计算与存储成本的同时，能否在代码审查任务中保持高性能？
• RQ3 输入表示设计与指令微调对 LLM 在代码审查任务中性能的影响如何？
• RQ4 在代码审查任务中，哪种 PEFT 方法（如 LoRA）能在性能与参数效率之间实现最佳平衡？
• RQ5 在有限的微调轮次下，小型 LLaMA 基础模型（6.7B 参数）在多大程度上可匹配或超越更大的、任务特定的模型？

主要发现

• LLaMA-Reviewer 仅使用 6.7B 参数，并通过 PEFT 技术将可训练参数控制在 1% 以下，即在代码审查任务中实现了最先进性能。
• 尽管微调量极少且参数更新量低，该模型仍可匹配或超越现有专注于代码审查的模型性能。
• 将输入表示与 LLaMA 的预训练格式对齐，显著提升了模型性能与能力利用率。
• 采用两阶段指令微调流程，增强了模型处理自然语言输入并生成准确、上下文感知输出的能力。
• 对于具有结构化输入与输出格式的代码审查任务，LoRA 在适当秩设置下是最有效的 PEFT 方法。
• 插件式模型架构降低了存储需求，并实现了在软件工程工作流中对微调权重的高效部署。