[논문 리뷰] FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations

Ziyao Wang, Zanming Shen외 5명|arXiv (Cornell University)|2024. 09. 09.

Topic Modeling인용 수 4

한 줄 요약

FLoRA는 이질적인 저랭크 어댑터(LoRAs)를 사용한 대규모 언어모델의 연합 미세조정을 위한 노이즈 없는 스택 기반 집합 방법을 제안한다. 로컬 LoRA 행렬을 평균 내는 대신 스택하여 집합함으로써 FLoRA는 수학적 집합 오차를 제거하고 클라이언트 간 다양한 LoRA 랭크를 지원하며, 동종 및 이종 환경 모두에서 기존 최고 성능(SOTA) 방법을 능가하는 성능을 달성한다.

ABSTRACT

The rapid development of Large Language Models (LLMs) has been pivotal in advancing AI, with pre-trained LLMs being adaptable to diverse downstream tasks through fine-tuning. Federated learning (FL) further enhances fine-tuning in a privacy-aware manner by utilizing clients' local data through in-situ computation, eliminating the need for data movement. However, fine-tuning LLMs, given their massive scale of parameters, poses challenges for clients with constrained and heterogeneous resources in FL. Previous methods employed low-rank adaptation (LoRA) for efficient federated fine-tuning but utilized traditional FL aggregation strategies on LoRA adapters. These approaches led to mathematically inaccurate aggregation noise, reducing fine-tuning effectiveness and failing to address heterogeneous LoRAs. In this work, we first highlight the mathematical incorrectness of LoRA aggregation in existing federated fine-tuning methods. We introduce a new approach called FLORA that enables federated fine-tuning on heterogeneous LoRA adapters across clients through a novel stacking-based aggregation method. Our approach is noise-free and seamlessly supports heterogeneous LoRA adapters. Extensive experiments demonstrate FLORA' s superior performance in both homogeneous and heterogeneous settings, surpassing state-of-the-art methods. We envision this work as a milestone for efficient, privacy-preserving, and accurate federated fine-tuning of LLMs. Our code is available at https://github.com/ATP-1010/FederatedLLM.

연구 동기 및 목표

• 기존 연합 LoRA 집합 방법에서 발생하는 수학적 부정확성, 즉 LoRA 행렬 A와 B를 독립적으로 평균화함으로써 유발되는 노이즈를 해결한다.
• 클라이언트 간 데이터 분포와 계산 자원이 상이한 현실적인 이종 클라이언트 환경에서 효과적인 연합 미세조정을 가능하게 한다.
• 클라이언트 간 이질적인 LoRA 랭크를 지원하여, 로컬 데이터 및 하드웨어 제약 조건에 따라 클라이언트가 서로 다른 어댑터 랭크를 사용할 수 있도록 한다.
• 모델 업데이트 무결성을 유지하고 연합 학습에서 수렴 속도를 가속화하는 이론적으로 타당한 집합 메커니즘을 개발한다.
• 기밀 보장과 효율성을 유지하면서도, 동종 및 이종 LoRA 설정 모두에서 대규모 언어모델 미세조정에서 최고 성능(SOTA)을 달성한다.

제안 방법

• 모든 클라이언트의 로컬 LoRA 행렬 A와 B를 랭크 차원에 따라 스택하여 평균을 내지 않고도 전역 LoRA 행렬을 형성하는 스택 기반 집합 메커니즘을 제안한다.
• 이론적 분석을 통해 스택이 전역 모델 업데이트의 수학적 정확성을 유지함을 증명하며, FedIT의 평균화 방식에서 발생하는 중간 노이즈 항을 제거함을 보여준다.
• 클라이언트가 A와 B 행렬에 대해 서로 다른 랭크를 사용할 수 있도록 허용함으로써 이종 LoRA 랭크를 지원하며, 스택 방식이 이러한 차이를 자연스럽게 수용함을 보장한다.
• LoRA 행렬을 랭크-1 서브 모듈로 분할하고, 스택하기 전에 순서를 무작위로 섞음으로써 악성 클라이언트에 의한 복원을 방지함으로써 기밀 보장 메커니즘을 도입한다.
• 암호화와 차등적 개인정보 보호와 같은 표준 기밀 보장 기법과 통합하여, 연합 학습의 기밀 보장 특성과의 호환성을 확보한다.
• 클라이언트가 장치 내에서 로컬 LoRA 모듈을 미세조정하고 업로드하며, 서버가 이를 스택하여 전역 모델을 형성하는 표준 FedAvg 유사 연합 학습 루프를 사용한다.

실험 결과

연구 질문

• RQ1 기존 연합 LoRA 방법(예: FedIT)에서 집합 노이즈의 수학적 원인은 무엇이며, 이를 어떻게 제거할 수 있는가?
• RQ2 모델 정확도와 수렴 속도를 유지하면서도, 클라이언트 간 이질적인 LoRA 랭크를 지원할 수 있는 연합 미세조정 방법은 가능한가?
• RQ3 LoRA 행렬에 대해 스택 기반 집합 방식이 평균 기반 방법보다 더 빠른 수렴과 향상된 성능을 이끌 수 있는가?
• RQ4 다양한 데이터 및 하드웨어 자원을 가진 현실적인 이종 클라이언트 환경에서 FLoRA는 어떻게 성능을 발휘하는가?
• RQ5 통신 효율성을 희생시키지 않고도, 제안된 스택 방식이 전역 모델 업데이트로부터 기밀 유출을 방지할 수 있는가?

주요 결과

• FLoRA는 평균화를 스택으로 대체함으로써 집합 노이즈를 제거하고, 이는 수학적으로 정확하며 더 빠른 수렴을 이끌어낸다.
• 스택 메커니즘은 자연스럽게 클라이언트 간 이질적인 LoRA 랭크를 지원하여, 더 넓은 범위의 클라이언트 참여를 가능하게 한다.
• FLoRA는 LLaMA, Llama2, TinyLlama 모델에 대해 GSM8K, HumanEval, WizzAR 등 여러 벤치마크에서 SOTA 방법인 FedIT를 모두 능가한다.
• LoRA 랭크 8은 다양한 모델과 데이터셋에서 일관되게 뛰어난 성능을 보이며, 극단적인 랭크(예: 64)는 모델에 따라 성능이 다를 수 있어 최적의 랭크와 모델 용량 간의 상관관계가 있음을 시사한다.
• FLoRA의 통신 오버헤드는 FedIT와 비교해 약간 높을 뿐이며, 전체 미세조정 대비로 보면 여전히 무시할 수 없을 정도로 낮아 대규모 배포에 실용적이다.
• 랭크-1 서브 모듈의 무작위 섞기와 암호화, 차등적 개인정보 보호와의 호환성 등 FLoRA의 기밀 보장 설계는 악성 클라이언트가 로컬 LoRA 행렬을 복원하는 것을 방지한다.