[논문 리뷰] The Expressive Power of Low-Rank Adaptation

Yuchen Zeng, Kangwook Lee|arXiv (Cornell University)|2023. 10. 26.

Machine Learning and ELM인용 수 5

한 줄 요약

이 논문은 저랭크 미세조정(Low-Rank Adaptation, LoRA)에 대한 최초의 이론적 분석을 제공하며, 완전히 연결된 네트워크의 경우, 어댑터 랭크가 모델의 깊이와 너비에 기반한 임계값을 충족할 경우 LoRA가 목표 모델을 정확히 재현할 수 있음을 증명한다. 트랜스포머의 경우, 임베딩 크기의 절반에 해당하는 랭크를 가진 어댑터가 정확한 적응을 위해 충분하며, 랭크가 증가할수록 근사 오차가 감소함을 실험적으로 검증하였다.

ABSTRACT

Low-Rank Adaptation (LoRA), a parameter-efficient fine-tuning method that leverages low-rank adaptation of weight matrices, has emerged as a prevalent technique for fine-tuning pre-trained models such as large language models and diffusion models. Despite its huge success in practice, the theoretical underpinnings of LoRA have largely remained unexplored. This paper takes the first step to bridge this gap by theoretically analyzing the expressive power of LoRA. We prove that, for fully connected neural networks, LoRA can adapt any model $f$ to accurately represent any smaller target model $\overline{f}$ if LoRA-rank $\geq( ext{width of }f) imes \frac{ ext{depth of }\overline{f}}{ ext{depth of }f}$. We also quantify the approximation error when LoRA-rank is lower than the threshold. For Transformer networks, we show any model can be adapted to a target model of the same size with rank-$(\frac{ ext{embedding size}}{2})$ LoRA adapters.

연구 동기 및 목표

• 파라미터 효율적인 미세조정에서 저랭크 미세조정(Low-Rank Adaptation, LoRA)의 표현 능력을 이론적으로 이해하기.
• 고정된 사전학습 모델을 미세조정할 때 목표 모델을 정확히 표현하기 위해 필요한 최소 LoRA 랭크를 결정하기.
• 정확한 적응을 위한 임계값 이하인 LoRA 랭크일 경우 근사 오차를 정량화하기.
• 특히 attention 메커니즘을 포함한 트랜스포머 아키텍처로 이론적 통찰을 확장하기.
• 근사 오차 및 랭크 스케일링에 대한 수치 실험을 통해 이론적 발견을 검증하기.

제안 방법

• 낮은 랭크 갱신을 통한 가중치 행렬 적응 분석 $\Delta \mathbf{W}_l = \mathbf{A}_l \mathbf{B}_l$, 여기서 $\text{rank}(\mathbf{A}_l \mathbf{B}_l) \leq R$.
• 적응된 모델과 목표 모델 간의 프로베니우스 노름 오차를 최소화하는 제약 조건이 있는 최적화 문제 설정.
• 근사화에 필요한 부분 네트워크를 분리하기 위해 확장된 목표 행렬 $\widetilde{\mathbf{W}}$ 를 사용.
• 행렬 랭크 분해 및 낮은 랭크 근사 이론을 적용하여 필요한 랭크 조건 유도.
• 레마 1을 사용한 정확한 복원 조건 유도로, $R \geq \lfloor \frac{D_{\text{target}}}{L} \rfloor$ 조건을 만족하면 온건한 가정 하에 정확한 적응이 가능함을 보임.
• 이론적 임계값 행동을 검증하기 위한 수치 실험 수행으로, 랭크가 임계값을 초과할 경우 근사 오차가 급격히 감소함을 확인.

실험 결과

연구 질문

• RQ1 완전히 연결된 네트워크에서, 고정된 모델을 목표 모델에 정확히 적응시키기 위해 필요한 최소 LoRA 랭크는 무엇인가?
• RQ2 정확한 적응을 위한 임계값 이하인 LoRA 랭크일 경우 근사 오차는 어떻게 스케일링되는가?
• RQ3 LoRA는 어떤 목표 트랜스포머 모델도 정확히 표현할 수 있으며, 그러한 적응을 위해 필요한 랭크는 무엇인가?
• RQ4 모델의 깊이와 너비는 정확하거나 거의 정확한 적응을 위해 필요한 최소 LoRA 랭크에 어떻게 영향을 미치는가?
• RQ5 표현 능력 측면에서 LoRA는 최종 레이어 미세조정과 비교해 어떻게 성능을 내는가?

주요 결과

• 완전히 연결된 네트워크의 경우, 온건한 가정 하에 $R \geq \text{width}(f) \times \frac{\text{depth}({\hat{f}})}{\text{depth}(f)}$ 조건을 만족할 경우 LoRA는 어떤 목표 모델이라도 정확히 표현할 수 있다.
• LoRA 랭크가 이 임계값 이하일 경우, 랭크에 대한 함수로 명시적인 근사 오차 한계를 도출하였으며, 오차가 랭크가 증가함에 따라 감소함을 보였다.
• 트랜스포머의 경우, 임베딩 크기의 절반에 해당하는 랭크를 가진 LoRA 어댑터가 동일 크기의 목표 모델을 정확히 매칭하는 데에 충분하다.
• 수치 실험을 통해 랭크가 증가할수록 근사 오차가 감소하며, 임계 랭크 임계값을 초과하면 오차가 거의 0에 수렴함을 확인하였다.
• 이론적 프레임워크를 통해 최종 레이어 미세조정과의 비교가 가능해졌으며, LoRA가 모델 적응에 있어 뛰어난 표현 능력을 가짐을 보였다.
• 이론적 결과는 완전히 연결된 네트워크와 트랜스포머 아키텍처 양쪽 모두에서 검증되었으며, 이론적 한계의 일반화 가능성을 입증하였다.