[논문 리뷰] LLaMA-Reviewer: Advancing Code Review Automation with Large Language Models through Parameter-Efficient Fine-Tuning

Junyi Lu, Lei Yu외 3명|arXiv (Cornell University)|2023. 08. 22.

Software Engineering Research인용 수 4

한 줄 요약

LLaMA-Reviewer는 파arameter 효율적 미세조정(PEFT) 프레임워크를 도입하여 LLaMA 대규모 언어모델을 활용해 자동 코드 리뷰를 수행하는 방법을 제안한다. 전체 학습 가능한 파라미터의 1% 미만을 사용함으로써 코드 리뷰 작업에서 최신 기술 성능(SOTA)을 달성한다. 단지 6.7B 파라미터 기반 모델과 제한된 미세조정 에포크를 사용함에도 불구하고, 리뷰 필요성 예측, 코멘트 생성, 코드 개선 등에서 기존의 전용 코드 리뷰 모델을 능가하거나 동등하게 성능을 내며, 뛰어난 성능을 보인다.

ABSTRACT

The automation of code review activities, a long-standing pursuit in software engineering, has been primarily addressed by numerous domain-specific pre-trained models. Despite their success, these models frequently demand extensive resources for pre-training from scratch. In contrast, Large Language Models (LLMs) provide an intriguing alternative, given their remarkable capabilities when supplemented with domain-specific knowledge. However, their potential for automating code review tasks remains largely unexplored. In response to this research gap, we present LLaMA-Reviewer, an innovative framework that leverages the capabilities of LLaMA, a popular LLM, in the realm of code review. Mindful of resource constraints, this framework employs parameter-efficient fine-tuning (PEFT) methods, delivering high performance while using less than 1% of trainable parameters. An extensive evaluation of LLaMA-Reviewer is conducted on two diverse, publicly available datasets. Notably, even with the smallest LLaMA base model consisting of 6.7B parameters and a limited number of tuning epochs, LLaMA-Reviewer equals the performance of existing code-review-focused models. The ablation experiments provide insights into the influence of various fine-tuning process components, including input representation, instruction tuning, and different PEFT methods. To foster continuous progress in this field, the code and all PEFT-weight plugins have been made open-source.

연구 동기 및 목표

• 코드 리뷰를 위한 도메인 특화 모델을 훈련시키는 데 드는 높은 자원 비용 문제를 해결하고자 사전 훈련된 대규모 언어모델(LLM)을 활용한다.
• LLaMA와 같은 통합된 LLM이 자동 코드 리뷰 작업에 적용될 수 있는 타당성과 효과성을 탐색한다.
• 파라미터 효율적 미세조정(PEFT) 기법을 통해 계산 및 저장 부담을 줄여 코드 리뷰 자동화의 효율성을 높인다.
• 입력 표현 방식, 지시 미세조정, 다양한 PEFT 방법이 코드 리뷰 성능에 미치는 영향을 평가한다.
• 소프트웨어 엔지니어링 워크플로우에 적합한 오픈소스이자 프라이버시를 보장하는 기술을 제공한다.

제안 방법

• 학습 가능한 파라미터를 최소화하기 위해 파라미터 효율적 미세조정(PEFT)을 통해 미세조정된 통합 LLaMA 기반 모델을 채택한다.
• LoRA(Low-Rank Adaptation)와 같은 PEFT 방법을 적용하여 LLaMA 모델을 원본 파라미터의 1% 미만으로만 학습 가능하게 한다.
• LLaMA의 사전 훈련 형식에 맞는 입력 표현 방식을 설계하여, 맥락 기반 학습 능력을 더욱 효과적으로 활용한다.
• 자연어 지시를 처리하고 맥락에 부합하는 출력을 생성하는 능력을 향상시키기 위해 이중 단계의 지시 미세조정을 통합한다.
• 저장 공간 최적화와 효율적인 배포를 위해 플러그인 모델 아키텍처를 활용한다.
• 세 가지 작업 파이프라인(리뷰 필요성 예측, 리뷰 코멘트 생성, 코드 개선)을 구현하고, 두 개의 공개 데이터셋을 기반으로 평가한다.

실험 결과

연구 질문

• RQ1 LLaMA와 같은 통합 대규모 언어모델이 작업 전용 사전 훈련 없이도 코드 리뷰 자동화 작업에서 경쟁적인 성능을 낼 수 있는가?
• RQ2 파라미터 효율적 미세조정(PEFT)이 계산 및 저장 비용을 줄이면서도 코드 리뷰 작업에서 높은 성능을 유지하는 데 얼마나 효과적인가?
• RQ3 입력 표현 설계와 지시 미세조정이 LLM의 코드 리뷰 성능에 어떤 영향을 미치는가?
• RQ4 LoRA와 같은 PEFT 방법 중에서 코드 리뷰 작업에서 성능과 파라미터 효율성 간의 최적 균형을 이룰 수 있는 방법은 무엇인가?
• RQ5 제한된 미세조정 에포크를 거친 소규모 LLaMA 기반 모델(6.7B 파라미터)이 더 큰 전용 모델을 능가하거나 이를 초월할 수 있는가?

주요 결과

• LLaMA-Reviewer는 PEFT를 통해 전체 학습 가능한 파라미터의 1% 미만을 사용하면서도 코드 리뷰 작업에서 최신 기술 성능(SOTA)을 달성한다.
• 최소한의 미세조정과 낮은 파라미터 업데이트에도 불구하고, 기존의 전용 코드 리뷰 모델의 성능을 능가하거나 동등하게 유지한다.
• LLaMA의 사전 훈련 형식에 맞춘 입력 표현 방식의 정렬이 모델 성능 향상과 능력 활용에 크게 기여한다.
• 이중 단계의 지시 미세조정은 자연어 입력을 처리하고 정확하고 맥락에 부합하는 출력을 생성하는 능력을 향상시킨다.
• 입력과 출력 형식이 구조화된 코드 리뷰 작업에 적합한 PEFT 방법으로서, 적절한 랭크를 가진 LoRA가 가장 효과적이다.
• 플러그인 모델 아키텍처는 저장 공간 요구량을 줄이고 소프트웨어 엔지니어링 워크플로우에서 미세조정된 가중치를 효율적으로 배포할 수 있도록 한다.