[논문 리뷰] LoRA-GA: Low-Rank Adaptation with Gradient Approximation

Shaowen Wang, Linxi Yu외 1명|arXiv (Cornell University)|2024. 07. 06.

Image and Signal Denoising Methods인용 수 4

한 줄 요약

LoRA-GA는 저랭크 미세조정(Low-Rank Adaptation, LoRA)을 위한 새로운 기울기 기반 초기화 방법을 제안하며, 전체 미세조정의 기울기와 일치시키는 방식으로 초기 기울기를 정렬함으로써 수렴 속도를 가속화한다. 전체 모델의 기울기 행렬의 상위 특이벡터를 사용해 어댑터 행렬을 초기화함으로써 LoRA-GA는 전체 미세조정 수준과 유사한 수렴 속도를 달성하며, GSM8K에서 기존 LoRA 대비 최대 11.52% 향상된 성능을 기록하고, 훈련 FLOPs를 2–4배 감소시킨다.

ABSTRACT

Fine-tuning large-scale pretrained models is prohibitively expensive in terms of computational and memory costs. LoRA, as one of the most popular Parameter-Efficient Fine-Tuning (PEFT) methods, offers a cost-effective alternative by fine-tuning an auxiliary low-rank model that has significantly fewer parameters. Although LoRA reduces the computational and memory requirements significantly at each iteration, extensive empirical evidence indicates that it converges at a considerably slower rate compared to full fine-tuning, ultimately leading to increased overall compute and often worse test performance. In our paper, we perform an in-depth investigation of the initialization method of LoRA and show that careful initialization (without any change of the architecture and the training algorithm) can significantly enhance both efficiency and performance. In particular, we introduce a novel initialization method, LoRA-GA (Low Rank Adaptation with Gradient Approximation), which aligns the gradients of low-rank matrix product with those of full fine-tuning at the first step. Our extensive experiments demonstrate that LoRA-GA achieves a convergence rate comparable to that of full fine-tuning (hence being significantly faster than vanilla LoRA as well as various recent improvements) while simultaneously attaining comparable or even better performance. For example, on the subset of the GLUE dataset with T5-Base, LoRA-GA outperforms LoRA by 5.69% on average. On larger models such as Llama 2-7B, LoRA-GA shows performance improvements of 0.34, 11.52%, and 5.05% on MT-bench, GSM8K, and Human-eval, respectively. Additionally, we observe up to 2-4 times convergence speed improvement compared to vanilla LoRA, validating its effectiveness in accelerating convergence and enhancing model performance. Code is available at https://github.com/Outsider565/LoRA-GA.

연구 동기 및 목표

• 기본 LoRA의 느린 수렴 문제를 해결하여 총 FLOPs를 증가시키고, 단계당 비용은 낮지만 테스트 성능이 떨어지는 현상을 완화한다.
• LoRA 어댑터 가중치의 비최적의 초기화가 느린 수렴의 근본 원인인지 탐구한다.
• 저랭크 어댑터의 기울기 업데이트 방향을 첫 번째 단계부터 전체 모델의 기울기 방향과 일치시키는 새로운 초기화 방법을 개발한다.
• LoRA의 파rameter 효율성과 메모리 점유율을 유지하면서 전체 미세조정 수준과 유사한 수렴 속도와 성능을 달성한다.

제안 방법

• LoRA-GA는 전체 모델의 기울기 행렬 $\nabla_W \mathcal{L}$의 상위 $r$개 왼쪽 및 오른쪽 특이벡터를 사용해 어댑터 행렬 $A$와 $B$를 초기화함으로써, 초기 $\Delta(BA)$가 $\Delta W$와 일치하도록 보장한다.
• 기울기 행렬의 특이값 분해(SVD)를 통해 $U_{[1:r]}$와 $V_{[1:r]}$를 추출하고, 출력 분산을 안정화하기 위해 $\sqrt[4]{d_{\text{out}}}/\sqrt{\gamma}$로 스케일링한다.
• 다양한 랭크와 입력 차원에서 출력 분산 불변성을 유지하기 위해 새로운 스케일링 인자 $\alpha / \sqrt{r}$를 도입한다.
• 초기화는 훈련 전에 단 한 번만 수행되며, LoRA의 아키텍처나 훈련 알고리즘에 대한 수정이 필요 없다.
• 이 방법은 기울기 근사와 출력 안정성(SO)을 결합하며, ReLoRA와 같은 기존 LoRA 변종과도 호환된다.

실험 결과

연구 질문

• RQ1 LoRA 어댑터 가중치의 기본 무작위 초기화가 전체 미세조정 대비 수렴 속도를 크게 저하시키는가?
• RQ2 저랭크 어댑터의 초기 기울기 방향을 전체 모델의 기울기 방향과 일치시키면 수렴 속도가 가속되는가?
• RQ3 LoRA에서 기울기 일치와 출력 분산 안정성을 동시에 확보할 수 있는 초기화 전략은 무엇인가?
• RQ4 제안된 초기화 방법은 수렴 속도와 최종 성능 측면에서 기존 초기화 전략과 비교해 어떻게 성능을 냅니까?

주요 결과

• T5-Base 모델을 사용한 GLUE 벤치마크에서 LoRA-GA는 기존 LoRA 대비 평균 5.69% 향상된 성능을 기록하며, 전체 미세조정 수준과 유사한 성능을 달성한다.
• Llama 2-7B에서 LoRA-GA는 MT-bench, GSM8K, HumanEval에서 각각 0.34, 11.52%, 5.05% 향상된 성능을 기록한다.
• LoRA-GA는 기존 LoRA 대비 최대 4배 빠른 수렴 속도를 달성하여 목표 성능에 도달하기 위한 훈련 스텝 수와 FLOPs를 감소시킨다.
• 초기화 단계는 7B 모델 기준 약 1분(예: Llama 2-7B에서 74.7초)만 추가로 소요되며, 표준 LoRA 수준의 추가 메모리 오버헤드가 없다.
• 절단 실험 결과, 기울기 근사(+GA)와 출력 안정성(+SO) 모두 수렴 성능 향상에 기여하며, 이 둘의 조합이 LoRA-GA에서 최고의 성능을 낸다.
• LoRA-GA는 표준 LoRA와 동일한 메모리 비용을 유지하며, 아키텍처 변경 없이 ReLoRA와 같은 다른 LoRA 변종과도 호환된다.