Skip to main content
QUICK REVIEW

[논문 리뷰] A Rank Stabilization Scaling Factor for Fine-Tuning with LoRA

Damjan Kalajdzievski|arXiv (Cornell University)|2023. 11. 28.
Ferroelectric and Negative Capacitance DevicesEngineering인용 수 12
한 줄 요약

요약: 본 논문은 LoRA 어댑터용 계수 gamma_r ~ 1/sqrt(r)로 랭크-안정화된 스케일링인 rsLoRA를 도입하고, 이 스케일링이 큰 어댑터 랭크에서 그래디언트 붕괴를 피하며 더 높은 랭크에서 추론 비용을 증가시키지 않고 더 나은 미세조정 성능을 가능하게 한다는 것을 증명하고 검증한다.

ABSTRACT

As large language models (LLMs) have become increasingly compute and memory intensive, parameter-efficient fine-tuning (PEFT) methods are now a common strategy to fine-tune LLMs. A popular PEFT method is Low-Rank Adapters (LoRA), which adds trainable low-rank "adapters" to selected layers. Each adapter consists of a low-rank matrix product, multiplicatively scaled by a rank-dependent factor. This scaling factor, which divides adapters by a factor of the rank, results in slowed learning and stunted performance for LoRA with higher-rank adapters. Consequently, the use of LoRA in practice has generally been limited to very low ranks. In this work, we study the impact of the scaling factor on the learning process and prove that LoRA adapters should be divided by a factor of the square root of the rank. Modifying LoRA with the appropriate scaling factor, which we call the rank-stabilized LoRA (rsLoRA) method, easily provides for a fine-tuning compute/performance trade-off, where larger ranks can be used to trade off increased computational resources during training for better fine-tuning performance, with no change in inference computing cost.

연구 동기 및 목표

  • 대형 언어 모델에 대한 매개변수 효율적 미세 조정(PEFT)을 동기부여하고 LoRA 어댑터의 스케일링 문제를 해결한다.
  • 어댑터 랭크 전반에 걸친 학습의 안정성을 보장하는 이론적으로 근거 있는 스케일링 인자를 도출한다.
  • rsLoRA가 더 높은 랭크에서의 미세조정에서 성능 향상과 안정적인 학습을 가능하게 한다는 것을 경험적으로 검증한다.
  • 더 높은 어댑터 랭크를 추론 비용 증가 없이 활용할 수 있음을 보여준다.
  • rsLoRA를 기존의 다이나믹 랭크 PEFT 방법과의 통합 방향을 제시한다.

제안 방법

  • 모델 어댑터를 랭크 r과 스케일링 gamma_r를 갖는 행렬 BA로 모델링한다.
  • 활성화 및 그래디언트의 모멘트에 대한 두 가지 안정성 조건을 통해 랭크-안정화 어댑터를 정의한다.
  • 랭크 간의 안정성을 보장하기 위해 gamma_r가 Theta(1/sqrt(r))로 스케일링되어야 함을 보인다(Theorem 3.2).
  • 결과 기술을 랭크-안정화 LoRA(rsLoRA)로 명명한다.
  • LoRA와 rsLoRA를 Llama 2 7B를 20k OpenOrca 지침으로 미세 조정하고, 랭크 r을 {4,8,32,128,512,2048}로 바꿔가며 퍼플렉시티와 그래디언트 노름을 추적하여 비교한다.
  • 모델, 데이터셋, 옵티마이저(AdamW, SGD, Adafactor) 및 어댑터 배치(어텐션/MLP)에 대한 잔차 실험(ablation)을 수행한다.
  • rsLoRA를 사용하면 더 높은 랭크에서 그래디언트 노름이 안정적으로 유지되는 반면 표준 LoRA는 랭크가 증가함에 따라 성능이 정체되거나 악화되는 것을 보여준다.

실험 결과

연구 질문

  • RQ1랭크-안정화 스케일링 gamma_r ~ 1/sqrt(r)가 임의의 큰 어댑터 랭크에서 학습의 안정성을 보장하는가?
  • RQ2적응형 랭크가 증가함에 따라 rsLoRA와 기존 LoRA 간 미세 조정 성능 차이는 어떻게 되는가?
  • RQ3추론 비용을 증가시키지 않으면서 rsLoRA가 더 높은 랭크 어댜터의 이점을 열어주는가?
  • RQ4모델, 데이터셋 및 옵티마이저의 변화에 대해 rsLoRA의 확인된 이점은 견고한가?

주요 결과

  • LoRA의 일반적인 스케일링 gamma_r = alpha/r는 큰 랭크에서 그래디언트 붕괴를 일으켜 성능 향상을 제한한다.
  • gamma_r가 Theta(1/sqrt(r))인 rsLoRA는 랭크-안정적인 학습을 가능하게 하며 랭크간 그래디언트 크기를 유지한다.
  • 경험적 결과는 rsLoRA가 더 높은 랭크에서 미세 조정 성능 향상을 열어주는 반면, LoRA의 성능은 랭크 증가에 따라 정체되거나 감소한다는 것을 보여준다.
  • rsLoRA 하에서 그래디언트 노름은 랭크에 걸쳐 대략적으로 안정적으로 유지되는 반면, LoRA는 더 높은 랭크에서 그래디언트가 붕괴하는 현상을 보인다.
  • 이 방법은 인퍼런스 비용을 바꾸지 않으면서 더 큰 랭크가 미세 조정 성능을 개선하는 계산/성능의 트레이드오프를 제공한다.
  • 잔차 실험은 이 결과가 서로 다른 모델, 데이터셋, 옵티마이저 및 어댑터 배치에 걸쳐 일반화됨을 시사한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.