[논문 리뷰] BiLoRA: A Bi-level Optimization Framework for Overfitting-Resilient Low-Rank Adaptation of Large Pre-trained Models

Rushi Qiang, Ruiyi Zhang외 1명|arXiv (Cornell University)|2024. 03. 19.

Advanced Neural Network Applications인용 수 4

한 줄 요약

BiLoRA는 대규모 사전 훈련된 모델의 피지컬 훈련에서 과적합을 완화하기 위해 이중 최적화 프레임워크를 제안한다. SVD 매개변수화를 사용해 가짜 특이벡터와 특이값의 훈련을 상호 배타적인 데이터 하위집합으로 분할함으로써 BiLoRA는 일반화 성능을 향상시키고 훈련 시간을 단축시킨다. 파arameter 수가 유사한 10개의 NLP 작업에서 LoRA와 AdaLoRA를 모두 능가한다.

ABSTRACT

Low-rank adaptation (LoRA) is a popular method for fine-tuning large-scale pre-trained models in downstream tasks by learning low-rank incremental matrices. Though LoRA and its variants effectively reduce the number of trainable parameters compared to full fine-tuning methods, they often overfit training data, resulting in sub-optimal generalization on test data. To address this problem, we introduce BiLoRA, an overfitting-alleviating fine-tuning approach based on bi-level optimization (BLO). BiLoRA employs pseudo singular value decomposition to parameterize low-rank incremental matrices and splits the training of pseudo singular vectors and values across two different subsets of training data. This division, embedded within separate levels of the BLO framework, mitigates the risk of overfitting to a single dataset. Tested on ten datasets covering natural language understanding and generation tasks and applied to various well-known large pre-trained models, BiLoRA significantly outperforms LoRA methods and other fine-tuning approaches, with similar amounts of trainable parameters.

연구 동기 및 목표

• 대규모 사전 훈련된 모델의 피지컬 훈련 중 지속적인 과적합 문제를 해결한다.
• 학습 가능한 파라미터 수를 늘리지 않고도 테스트 데이터에서 모델의 일반화 성능을 향상시킨다.
• 성능을 유지하거나 향상시키면서 표준 LoRA에 비해 훈련 시간을 단축시킨다.
• 이중 최적화를 활용해 특이벡터와 특이값의 학습을 분리하는 파라미터 효율적인 훈련 방법을 개발한다.
• 정규화 가중치의 정교한 튜닝이 필요 없는 강건한, 하이퍼파ram터에 민감하지 않은 방법을 제공한다.

제안 방법

• 저랭크 업데이트 행렬을 가짜 특이값 분해(SVD)로 매개변수화하여 ΔW = PΛQ로 표현한다. 여기서 P와 Q는 가짜 특이벡터이고, Λ는 가짜 특이값 행렬이다.
• P와 Q가 훈련 중에 약간의 직교성을 유지하도록 직교성 촉진 정규화를 적용한다.
• 훈련 데이터를 두 개의 상호 배타적인 하위집합으로 나누며, 하나는 하위 최적화 수준에서 P와 Q를 훈련하기 위한 것이고, 다른 하나는 상위 수준에서 Λ를 검증하기 위한 것이다.
• Λ를 고정한 채로 하위집합 S에서 P와 Q를 훈련하여 P*(Λ)와 Q*(Λ)를 도출한다.
• 검증 손실을 최소화함으로써 상위 수준에서 Λ를 최적화하며, 이때 최적의 P*(Λ)와 Q*(Λ)를 입력으로 사용한다.
• Λ에 소프트플러스 매개변수화를 사용하여 미분 가능하고 안정적인 최적화를 가능하게 하며, 더 큰 학습률을 허용하고 수렴 속도를 높인다.

실험 결과

연구 질문

• RQ1 이중 최적화가 학습 가능한 파라미터 수를 늘리지 않고도 LoRA 훈련에서 과적합을 효과적으로 줄일 수 있는가?
• RQ2 서로 다른 데이터 하위집합에서 특이벡터와 특이값의 학습을 분리함으로써 모델의 일반화 성능이 어떻게 향상되는가?
• RQ3 제안된 방법은 표준 LoRA와 AdaLoRA에 비해 훈련 시간을 단축시키면서도 성능을 유지하거나 향상시키는가?
• RQ4 특히 직교성 정규화 가중치에 대해 BiLoRA는 얼마나 강건한가?
• RQ5 이중 최적화 프레임워크는 자연어 이해 및 생성을 포함한 다양한 NLP 작업에 효과적으로 적용될 수 있는가?

주요 결과

• BiLoRA는 CoLA, SST-2, MNLI, QQP를 포함한 10개의 다양한 NLP 데이터셋에서 파라미터 수가 유사한 LoRA와 AdaLoRA를 모두 뛰어넘는 성능을 보였다.
• RoBERTa-base 모델에서 BiLoRA는 총 훈련 시간을 LoRA의 7,802.1분에서 4,531.4분으로 줄여 42.5% 감소시켰다.
• RoBERTa-large에서 BiLoRA는 훈련 시간을 LoRA의 2,661.3분에서 2,363.8분으로 줄여 11.2% 감소시켰다.
• 이 방법은 하이퍼파ram터 선택에 강건하다: 직교성 정규화 가중치 γ₁의 값이 달라져도 성능이 안정적으로 유지되어 정교한 튜닝이 필요하지 않다.
• AdaLoRA에서 가중치 감쇠를 늘리면 성능이 악화되었으며, 이는 기존 정규화 기법이 LoRA에서 과적합 문제를 해결하지 못함을 시사하며, BiLoRA의 새로운 접근이 필수적임을 입증한다.
• BiLoRA는 LoRA보다 더 적은 훈련 에포크 수로 수렴하며, 이중 계산으로 인한 단위 스텝 비용이 높아도 더 빠른 수렴 덕분에 총 훈련 시간이 줄어든다.