[논문 리뷰] pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning

Liping Yi, Han Yu외 3명|arXiv (Cornell University)|2023. 10. 20.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 저랭크 어댑터(LoRA)를 사용하여 모델 이질성에 대응하는 계산 및 통신 효율적인 개인화된 플러그 앤 플레이 페더레이티드 러닝 프레임워크인 FedLoRA를 제안한다. 각 클라이언트의 이질적인 로컬 모델과 함께 공유되는 작고 낮은 랭크의 어댑터를 훈련하고 서버에서 어댑터만 집계함으로써, FedLoRA는 双방향 지식 전이를 가능하게 하여, 최고의 베이스라인보다 1.35% 높은 테스트 정확도를 달성하며, 계산 오버헤드는 11.81배, 통신 비용은 7.41배 감소시킨다.

ABSTRACT

Federated learning (FL) is an emerging machine learning paradigm in which a central server coordinates multiple participants (clients) collaboratively to train on decentralized data. In practice, FL often faces statistical, system, and model heterogeneities, which inspires the field of Model-Heterogeneous Personalized Federated Learning (MHPFL). With the increased interest in adopting large language models (LLMs) in FL, the existing MHPFL methods cannot achieve acceptable computational and communication costs, while maintaining satisfactory model performance. To bridge this gap, we propose a novel and efficient model-heterogeneous personalized Federated learning framework based on LoRA tuning (pFedLoRA). Inspired by the popular LoRA method for fine-tuning pre-trained LLMs with a low-rank model (a.k.a., an adapter), we design a homogeneous small adapter to facilitate federated client's heterogeneous local model training with our proposed iterative training for global-local knowledge exchange. The homogeneous small local adapters are aggregated on the FL server to generate a global adapter. We theoretically prove the convergence of pFedLoRA. Extensive experiments on two benchmark datasets demonstrate that pFedLoRA outperforms six state-of-the-art baselines, beating the best method by 1.35% in test accuracy, 11.81 times computation overhead reduction and 7.41 times communication cost saving.

연구 동기 및 목표

• 대규모 언어 모델(LLM) 배포와 같은 맥락에서 클라이언트들이 서로 다른 모델 아키텍처를 사용하는 페더레이티드 러닝의 모델 이질성 문제를 해결한다.
• 특히 대규모 모델 미세조정 시 높은 계산 및 통신 비용을 유발하는 기존의 모델 이질성에 대응하는 개인화된 페더레이티드 러닝 방법의 비용 문제를 해결한다.
• 모델 개인화와 지적 재산 보호를 유지하면서도 이질적인 모델을 가진 클라이언트 간에 효율적인 지식 공유를 가능하게 한다.
• 실제 자원 제약이 있는 페더레이티드 러닝 환경에서 훈련 및 통신 오버헤드를 크게 줄이면서도 높은 모델 정확도를 유지하는 프레임워크를 설계한다.

제안 방법

• 각 클라이언트의 이질적인 로컬 모델에 동일한 구조의 낮은 랭크 어댑터(LoRA)를 도입하여, 주 모델은 동결된 채로 어댑터만 미세조정한다.
• 글로벌 모델(집계된 어댑터를 통해)과 로컬 모델 간의 이중 방향 지식 교환을 가능하게 하는 반복적 훈련 프로세스를 사용한다.
• 서버에서는 전체 모델 전송을 피하기 위해 오직 작은 공유 어댑터만 집계하여 글로벌 어댑터를 형성한다. 이로 인해 통신 비용이 감소한다.
• 최종 추론은 동결된 로컬 모델과 미세조정된 어댑터를 조합하여 수행되며, 이는 전체 미세조정 성능에 근접하지만 계산 오버헤드가 크게 감소한다.
• 이론적 수렴 분석을 통해 FedLoRA가 비볼록 수렴 속도 𝒪(1/T)로 수렴함을 증명하여, 안정성과 확장성에 대한 근거를 제공한다.
• LoRA의 낮은 랭크 구조를 활용하여 모델 효율성을 유지하며, 로컬 훈련 중에는 오직 어댑터 파라미터만 업데이트된다.

실험 결과

연구 질문

• RQ1 모델 동질성이 필요 없이도 경량이고 공유되는 어댑터 메커니즘이 모델 이질성에 대응하는 페더레이티드 러닝에서 효과적인 지식 전이를 가능하게 할 수 있는가?
• RQ2 모델 이질성 하에서 FedLoRA는 최고 수준의 베이스라인 대비 테스트 정확도, 계산 효율성, 통신 비용 측면에서 어떻게 비교되는가?
• RQ3 데이터의 비IIDs성 수준과 클라이언트 참여율의 변화에 따라 FedLoRA는 어느 정도의 강건성을 유지하는가?
• RQ4 LoRA 기반 어댑터의 사용이 이질적인 페더레이티드 러닝 환경에서 강력한 개인화를 가능하게 하면서도 글로벌 지식 공유를 유지할 수 있는가?

주요 결과

• FedLoRA는 모델 이질성 설정 하에서 벤치마크 데이터셋에서 최고 성능을 보인 베이스라인(FedProto)보다 1.35% 높은 테스트 정확도를 달성한다.
• FedLoRA는 FedProto 대비 계산 오버헤드를 최대 11.81배까지 감소시켜 자원 제약이 있는 클라이언트에서의 훈련 효율성을 크게 향상시킨다.
• 통신 비용은 어댑터 파라미터만 전송 및 집계하기 때문에 최대 7.41배 감소하였다.
• FedLoRA는 데이터의 비IIDs성과 다양한 클라이언트 참여율에 대해 뛰어난 강건성을 보이며, 모든 테스트 구성에서 FedProto를 일관되게 능가한다.
• T-SNE를 활용한 시각화 결과, FedLoRA는 더 나은 클래스 내 응집도와 클래스 간 분리도를 확보하여 강력한 개인화와 일반화 능력을 보여준다.
• 이론적 분석을 통해 FedLoRA가 비볼록 수렴 속도 𝒪(1/T)로 수렴함을 확인하여, 현실적인 페더레이티드 러닝 조건 하에서의 수렴성에 대한 타당성을 입증한다.