[논문 리뷰] Parameter-Efficient Finetuning of Transformers for Source Code

Shamil Ayupov, Nadezhda Chirkova|arXiv (Cornell University)|2022. 12. 12.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 사전에 학습된 코드 모델(CodeT5 및 PLBART)을 대상으로 파arameter-efficient fine-tuning (PEFT) 방법인 LoRA와 어댑터를 네 가지 코드 처리 작업에서 평가한다. PEFT는 코드 이해 작업에서는 전체 미세조정과 동일하거나 이를 초월하지만, 코드 생성 작업에서는 뚜렷하게 열등한 성능을 보이며, 소스 코드 NLP에서 PEFT의 도메인 특화된 한계를 드러낸다.

ABSTRACT

Pretrained Transformers achieve state-of-the-art performance in various code-processing tasks but may be too large to be deployed. As software development tools often incorporate modules for various purposes which may potentially use a single instance of the pretrained model, it appears relevant to utilize parameter-efficient fine-tuning for the pretrained models of code. In this work, we test two widely used approaches, adapters and LoRA, which were initially tested on NLP tasks, on four code-processing tasks. We find that though the efficient fine-tuning approaches may achieve comparable or higher performance than the standard, full, fine-tuning in code understanding tasks, they underperform full fine-tuning in code-generative tasks. These results underline the importance of testing efficient fine-tuning approaches on other domains than NLP and motivate future research in efficient fine-tuning for source code.

연구 동기 및 목표

• 소스 코드 처리 작업에 대해 파rameter-efficient fine-tuning (PEFT) 방법인 LoRA와 어댑터의 효과를 평가하기 위해.
• 성능 및 파rameter 효율성 측면에서 PEFT 접근법(LoRA, 어댑터, 그 조합)을 전체 미세조정과 비교하기 위해.
• NLP에서 효과적인 PEFT 방법이, 잡음이 많고 더 복잡한 데이터를 가진 코드 전용 작업으로 일반화되는지 평가하기 위해.
• 모델 크기와 하이퍼파ram터(예: 랭크 r)의 선택이 코드 생성 및 코드 이해 작업에서 PEFT 성능에 미치는 영향을 조사하기 위해.
• 소프트웨어 개발 도구(예: IDE)에 구현될 때 모델 효율성이 핵심이 되는 상황에서 PEFT의 적합성을 실증적으로 제시하기 위해.

제안 방법

• LoRA(저랭크 적응)를 적용하여 원본 모델 가중치 $W$를 갱신하기 위해 저랭크 행렬 $\Delta W = AB$ 를 도입하며, $A \in \mathbb{R}^{d \times r}$, $B \in \mathbb{R}^{r \times k}$, $r < \min(d,k)$ 를 만족한다. 이는 어텐션 및 피드포워드 레이어에 적용된다.
• 어댑터 트레이닝(AT)을 구현하기 위해 트랜스포머의 어텐션 및 피드포워드 블록 뒤에 작은 피드포워드 네트워크를 삽입하며, 미세조정 중에는 오직 어댑터 파라미터만 갱신된다.
• LoRA와 어댑터의 조합(FF-LoRA + AT)을 통해 상호보완적 향상을 탐색하면서 파라미터 수와 추론 오버헤드를 모니터링한다.
• 기본 모델로 CodeT5-base(223M 파라미터)와 PLBART-base(140M 파라미터)를 사용하며, CodeXGLEU 벤치마크의 네 가지 작업(코드 요약, 코드 클론 탐지, 코드 번역, 코드 생성)에서 미세조정을 수행한다.
• HuggingFace의 Transformers 라이브러리를 활용하고, BLEU-4, EM, CodeBLEU, 정확한 일치도 등의 표준 지표를 사용해 성능을 평가한다.
• 하이퍼파라미터(예: 랭크 $r$)를 검증 세트에서 튜닝하고, 세 번의 실행 평균과 표준편차를 포함해 결과를 보고한다.

실험 결과

연구 질문

• RQ1 코드 요약 및 클론 탐지와 같은 코드 이해 작업에서 LoRA 및 어댑터 기반 PEFT 방법은 전체 미세조정과 어떻게 비교되는가?
• RQ2 코드 번역 및 코드-텍스트 생성과 같은 코드 생성 작업에서 PEFT 방법은 어느 정도의 성능 유지 능력을 보이는가?
• RQ3 LoRA와 어댑터의 조합이 파라미터 효율성을 유지하면서 성능 향상을 이끌 수 있는가?
• RQ4 랭크 $r$의 선택이 코드 전용 작업에서 PEFT 방법의 성능과 파라미터 수에 어떤 영향을 미치는가?
• RQ5 PEFT 방법은 특히 데이터가 적은 상황에서 오픈소스 레포지터리에서 수집된 잡음이 많은 실제 코드 데이터를 효과적으로 처리할 수 있는가?

주요 결과

• 자바 코드 요약 작업에서 $r=8$인 FF-LoRA는 BLEU-4 점수 18.10을 기록하여 동일 작업에서 전체 미세조정(17.32)을 뛰어넘었다.
• C# → 자바 번역 작업에서 $r=16$인 FF-LoRA와 AT의 조합은 BLEU-4 점수 76.89를 기록했으며, 상대적 수준에선 전체 미세조정(79.14)을 초월했지만 절대적 수준에선 여전히 낮은 성능을 보였다.
• 코드 생성 작업에서는 LoRA와 어댑터가 전체 미세조정에 비해 일관되게 열등한 성능을 보였다: LoRA는 코드 번역에서 BLEU-4 74.26을 기록했으며, 전체 미세조정의 79.14와 비교해 뚜렷한 성능 격차가 있었다.
• 랭크 $r=16$인 어댑터 트레이닝은 코드 번역에서 BLEU-4 75.30을 기록했으며, 전체 미세조정 기준 78.60보다 낮아 복잡한 생성 작업에 대한 능력이 제한됨을 시사했다.
• FF-LoRA와 AT의 조합은 코드 번역에서 최고의 BLEU-4(76.89)와 CodeBLEU(82.53)를 기록했지만, 여전히 전체 미세조정의 79.14 BLEU-4와 84.33 CodeBLEU에 못 미쳤다.
• 정성적 분석 결과, PEFT 방법은 전체 미세조정에 비해 요약문이 짧거나 정확도가 떨어지는 경향이 있었으며, AT 모델은 때로 사실 오류를 유발하는 경향이 있었다(예: "운영 체제를 감지한다" 대비 "운영 체제를 감지한다").