[논문 리뷰] LoRA Learns Less and Forgets Less

Dan Biderman, Jacob Portes외 10명|arXiv (Cornell University)|2024. 05. 15.

Robotics and Automated Systems인용 수 16

한 줄 요약

LoRA는 코드 및 수학 과제에서 전체 파인튜닝에 비해 성능이 떨어지지만 더 강한 정규화를 제공하여 망각을 줄이고 생성 다양성을 유지한다.

ABSTRACT

Low-Rank Adaptation (LoRA) is a widely-used parameter-efficient finetuning method for large language models. LoRA saves memory by training only low rank perturbations to selected weight matrices. In this work, we compare the performance of LoRA and full finetuning on two target domains, programming and mathematics. We consider both the instruction finetuning (approximately 100K prompt-response pairs) and continued pretraining (20B unstructured tokens) data regimes. Our results show that, in the standard low-rank settings, LoRA substantially underperforms full finetuning. Nevertheless, LoRA better maintains the base model's performance on tasks outside the target domain. We show that LoRA mitigates forgetting more than common regularization techniques such as weight decay and dropout; it also helps maintain more diverse generations. Finally, we show that full finetuning learns perturbations with a rank that is 10-100X greater than typical LoRA configurations, possibly explaining some of the reported gaps. We conclude by proposing best practices for finetuning with LoRA.

연구 동기 및 목표

• 도전적인 코드 및 수학 도메인에서 LoRA가 전체 파인튜닝 성능에 도달할 수 있는지 평가한다.
• 두 가지 학습 체계에서 LoRA를 평가한다: 지시 파인튜닝 (IFT) 및 지속적 사전 학습 (CPT).
• 대상 도메인에서 파인튜닝할 때 원도메인 능력의 망각을 분석한다.
• LoRA 교란의 랭크 및 모듈 민감도를 전체 파인튜닝과 비교해 특성화한다.
• 실무에서 LoRA를 구성하기 위한 최선의 실천 가이드를 제공한다.

제안 방법

• 코드 및 수학 도메인에서 Llama-2 7B를 대상으로 LoRA와 전체 파인튜닝을 비교한다(일부에서는 13B도 사용).
• 두 가지 데이터 체계를 사용한다: 지시 파인튜닝 (~100K 프롬프트-응답 쌍)과 지속적 사전 학습 (~10B 토큰).
• 목표 도메인 성능을 HumanEval(코드) 및 GSM8K(수학)로 평가한다.
• 원도메인 망각을 HellaSwag, ARC-Challenge 및 Winograd 문제로 평가한다.
• 파인튜닝의 교란 랭크를 분석하기 위해 특이값 분해를 수행한다.
• 학습률, 대상 모듈 및 LoRA 랭크에 대한 하이퍼파라미터 탐색을 수행한다.

실험 결과

연구 질문

• RQ1 LoRA가 코드와 수학 과제에서 전체 파인튜닝 정확도에 근접하는 조건은 무엇인가?
• RQ2 LoRA가 전체 파인튜닝과 비교하여 원도메인 망각을 완화하는가?
• RQ3 LoRA 교란의 랭크와 대상 모듈이 성능 및 정규화에 어떤 영향을 미치는가?
• RQ4 어떤 하이퍼파라미터가 LoRA의 성능과 안정성에 가장 큰 영향을 미치는가?
• RQ5 지시 파인튜닝과 지속적 사전학습에서 LoRA의 효과를 극대화하는 실무 지침은 무엇인가?

주요 결과

• LoRA는 CPT와 IFT 전반에서 코드 및 수학 과제에서 전체 파인튜닝보다 성능이 떨어지며, 코드에서 수학보다 격차가 더 크다.
• LoRA는 전체 파인튜닝보다 원도메인 망각이 덜 나타나며, 이는 정규화 효과를 시사한다.
• LoRA는 가중치 감소나 어텐션 드롭아웃보다 더 강한 정규화를 제공하고 더 다양한 출력 생성을 유지한다.
• 전체 파인튜닝은 고랭크 교란을 생성하는 경향이 있으며, 교란 랭크는 일반적인 LoRA 구성보다 10~100배 더 높다.
• LoRA는 학습률과 대상 모듈 선택에 매우 민감하며, 모듈 선택이 랭크보다 영향에 우위를 가진다.
• 권장 실천 지침은 지시 파인튜닝에 LoRA를 사용하고, 모든 모듈을 대상으로 보통의 랭크로 설정하며, 여러 에포크 동안 학습하는 것을 선호한다.