[논문 리뷰] FeDeRA:Efficient Fine-tuning of Language Models in Federated Learning Leveraging Weight Decomposition

Yuxuan Yan, Qian‐Qian Yang외 2명|arXiv (Cornell University)|2024. 04. 29.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

FeDeRA는 비독립 동일 분포(Non-IID) 데이터 분포 하에서 성능 저하를 겪는 파라미터 효율적 미세조정(PEFT) 방법의 문제를 해결하기 위해 대규모 언어 모델을 위한 새로운 피에드라 프로토콜을 제안한다. 이 방법은 특이값 분해(SVD)를 활용해 LoRA 어댑터 모듈을 초기화함으로써 성능을 크게 향상시키며, 엣지 디바이스에서 전체 파라미터 미세조정(Full-Parameter Fine-Tuning, FFT) 대비 최대 97.9%까지 학습 시간을 단축시키면서도 거의 전체 미세조정 성능에 도달한다.

ABSTRACT

Despite their exceptional performance on various tasks after fine-tuning, pre-trained language models (PLMs) face significant challenges due to growing privacy concerns with data in centralized training methods. We consider federated learning (FL) to fine-tune PLMs in this paper. However, the substantial number of parameters in PLMs poses significant difficulties for client devices with limited communication and computational resources. One promising solution is to exploit parameter-efficient fine-tuning (PEFT) into FL, which trains a much smaller set of parameters than full parameter fine-tuning (FFT). Although remarkably improving training efficiency, PEFT methods may lead to degraded performance especially when data across different clients are non i.i.d, as revealed by experimental results. To overcome this, we propose FeDeRA, which extends and improves a widely used PEFT method, i.e., low-rank adaption (LoRA). FeDeRA follows LoRA by decomposing the weight matrices of the PLMs into low-rank matrices, which allows for more efficient computation and parameter updates during fine-tuning. Different from LoRA which simply initializes these low-rank matrices by random sampling or zeros, the proposed FeDeRA initializes these matrices by the results of performing singular value decomposition (SVD) on the pre-trained weight matrices. Extensive experiments across various tasks and datasets show that FeDeRA outperforms the considered PEFT baselines and is comparable to or even surpasses FFT method within the FL setting in terms of task performance. Moreover, FeDeRA requires only 1% trainable paramentes compared to FFT, significantly reducing training time costs by more than 90% to achieve the same task performance level. The experimental results also highlight the robustness of FeDeRA against data heterogeneity, as it maintains stable task performance even as data heterogeneity increases.

연구 동기 및 목표

• 비독립 동일 분포(Non-IID) 데이터 분포로 인해 LoRA와 같은 파라미터 효율적 미세조정(PEFT) 방법의 성능 저하 문제를 해결하기 위해.
• 대규모 사전 학습된 언어 모델(PLMs)의 피에드라 미세조정에서 통신 및 계산 오버헤드를 줄이기 위해.
• 학습 가능한 파라미터 수와 학습 시간을 최소화하면서도 전체 파라미터 미세조정(Full-Parameter Fine-Tuning, FFT) 수준의 높은 모델 정확도를 유지하기 위해.
• 저자원 엣지 디바이스(예: Jetson AGX Orin)에서 효율적이고 프라이버시를 보장하는 미세조정을 가능하게 하기 위해.

제안 방법

• FeDeRA는 사전 학습된 가중치 행렬에 대해 특이값 분해(SVD)를 수행하고 주성분을 선택하여 LoRA 어댑터 모듈의 초기 가중치로 사용한다.
• 이 방법은 원본 사전 학습된 가중치를 유지하고 동결하며, 학습 중에는 오직 SVD 기반 어댑터 구성 요소만 업데이트한다.
• 어댑터 모듈의 구조는 LoRA와 동일하게 유지되어 계산 및 메모리 오버헤드가 매우 낮다.
• SVD는 초기화 단계에서 한 번만 수행되므로, 전체 학습 대비 추가 비용은 무시할 만큼 낮다.
• 이 방법은 클라이언트가 로컬에서 학습하고 서버에 어댑터 파라미터만 전송하여 집계하는 피에드라 학습 프레임워크에 통합된다.
• 이 방법은 데이터 이질성 수준이 다른 세 가지 NLP 작업에서 RoBERTa-base 및 DeBERTaV3-base를 대상으로 평가되었다.

실험 결과

연구 질문

• RQ1 SVD 기반 초기화가 비독립 동일 분포(Non-IID) 데이터 분포 하에서 피에드라 미세조정의 성능 저하를 완화할 수 있는가?
• RQ2 피에드라 환경에서 전체 파라미터 미세조정(Full-Parameter Fine-Tuning, FFT)과 비교해 FeDeRA는 모델 정확도와 학습 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 엣지 디바이스에서 FFT 및 기타 PEFT 방법과 비교해 FeDeRA는 통신 및 학습 시간을 얼마나 줄일 수 있는가?
• RQ4 SVD 초기화가 이질적인 데이터를 가진 피에드라 학습에서 수렴 속도와 최종 성능을 향상시키는가?

주요 결과

• FeDeRA는 모든 다른 PEFT 방법보다 뛰어난 성능을 보이며, 세 가지 작업과 여섯 개의 데이터셋에서 전체 파라미터 미세조정(Full-Parameter Fine-Tuning, FFT)과 비교해 유사하거나 뛰어난 성능을 달성한다.
• RoBERTa-base에서 FeDeRA는 세 데이터셋에서 목표 정확도의 99%에 도달하기 위해 FFT 대비 각각 95.9%, 97.9%, 96.9%의 학습 시간을 단축시켰다.
• DeBERTaV3-base에서 동일한 정확도 목표를 달성하기 위해 FFT 대비 97.3%, 96.5%, 96.5%의 학습 시간을 단축시켰다.
• SVD 초기화 단계는 한 번만 수행되므로 추가 비용은 극히 미미하며, 학습 중이 아닌 초기화 단계에서만 이루어진다.
• 실제 엣지 디바이스(Jetson AGX Orin)를 활용한 피에드라 실험에서 FeDeRA는 모든 방법 대비 가장 짧은 학습 시간을 기록했으며, 높은 정확도를 유지했다.
• FeDeRA는 데이터 이질성으로 인한 성능 격차를 효과적으로 완화하여, 비독립 동일 분포(Non-IID) 환경에서 표준 LoRA 및 기타 PEFT 방법보다 뛰어난 성능을 발휘했다.