[論文レビュー] pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning

Liping Yi, Han Yu+3 more|arXiv (Cornell University)|Oct 20, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、低ランクアダプタ（LoRA）を用いた計算および通信効率の高いフレームワーク、FedLoRAを提案する。モデルの非均質性を持つパーソナライズドフェデレーテッドラーニングに対して、各クライントの非均質なローカルモデルに加えて共有で小さな低ランクアダプタを訓練し、サーバーではアダプタのみを集約することで、双方向の知識移転を可能にし、最良のベースラインより1.35%高いテスト精度を達成した。計算オーバーヘッドは11.81倍低減され、通信コストは7.41倍低減された。

ABSTRACT

Federated learning (FL) is an emerging machine learning paradigm in which a central server coordinates multiple participants (clients) collaboratively to train on decentralized data. In practice, FL often faces statistical, system, and model heterogeneities, which inspires the field of Model-Heterogeneous Personalized Federated Learning (MHPFL). With the increased interest in adopting large language models (LLMs) in FL, the existing MHPFL methods cannot achieve acceptable computational and communication costs, while maintaining satisfactory model performance. To bridge this gap, we propose a novel and efficient model-heterogeneous personalized Federated learning framework based on LoRA tuning (pFedLoRA). Inspired by the popular LoRA method for fine-tuning pre-trained LLMs with a low-rank model (a.k.a., an adapter), we design a homogeneous small adapter to facilitate federated client's heterogeneous local model training with our proposed iterative training for global-local knowledge exchange. The homogeneous small local adapters are aggregated on the FL server to generate a global adapter. We theoretically prove the convergence of pFedLoRA. Extensive experiments on two benchmark datasets demonstrate that pFedLoRA outperforms six state-of-the-art baselines, beating the best method by 1.35% in test accuracy, 11.81 times computation overhead reduction and 7.41 times communication cost saving.

研究の動機と目的

• クライントが異なるモデルアーキテクチャを使用するフェデレーテッドラーニングにおけるモデル非均質性の課題に対処すること、特に大規模言語モデル（LLM）の展開において。
• 大規模モデルの微調整において顕著な計算および通信コストを伴う、従来のモデル非均質なパーソナライズドFL手法の課題を克服すること。
• モデルのパーソナライズ性と知的財産の保護を維持しながら、非均質なモデルを持つクライント間での効率的な知識共有を可能にすること。
• 現実のリソース制約のあるFL環境において、訓練および通信のオーバーヘッドを著しく削減しながらも高いモデル精度を維持するフレームワークの設計。

提案手法

• クライントの非均質なローカルモデルに、均一で低ランクのアダプタ（LoRA）を導入し、主モデルは凍結したまま微調整を行う。
• グローバルモデル（集約されたアダプタ経由）とローカルモデル間での双方向の知識交換を可能にする反復的トレーニングプロセスを採用する。
• サーバーでは、完全なモデルの送信を回避するため、小さな共有アダプタのみを集約してグローバルアダプタを形成する。これにより通信コストが低減される。
• 最終的な推論では、凍結されたローカルモデルと微調整済みアダプタを組み合わせることで、完全な微調整と同等の性能を達成するが、計算量は著しく削減される。
• 理論的収束解析により、FedLoRAが非凸的条件下で𝒪(1/T)の収束速度を示すことが証明され、実用的FL環境における安定性とスケーラビリティが裏付けられる。
• ローカルトレーニング中はアダプタパラメータのみを更新することで、LoRAの低ランク構造を活かし、モデルの効率性を維持する。

実験結果

リサーチクエスチョン

• RQ1 モデル非均質性を持つフェデレーテッドラーニングにおいて、モデル均質性を要件としない軽量で共有可能なアダプタメカニズムが、効果的な知識移転を可能にするか？
• RQ2 モデル非均質性下で、FedLoRAは最先端のベースラインと比較して、テスト精度、計算効率、通信コストの観点でどの程度優れているか？
• RQ3 データの非IID性の度合いやクライント参加率の変動に対して、FedLoRAはどの程度のロバストネスを示すか？
• RQ4 LoRAベースのアダプタの使用が、非均質なFL環境下で強力なパーソナライズ性を実現しながらも、グローバルな知識共有を維持できるか？

主な発見

• FedLoRAは、モデル非均質な設定下でベンチマークデータセットにおいて、最も性能が優れたベースライン（FedProto）よりも1.35%高いテスト精度を達成した。
• FedLoRAは、FedProtoと比較して計算オーバーヘッドを最大11.81倍まで低減し、リソース制約のあるクライントにおけるトレーニング効率を顕著に向上させた。
• 通信コストは最大7.41倍低減され、全モデル重みの送信ではなく小さなアダプタパラメータのみを送信・集約するため、通信負荷が著しく削減された。
• FedLoRAは、データの非IID性や変動するクライント参加率に対しても優れたロバストネスを示し、全テスト設定でFedProtoを一貫して上回った。
• T-SNEを用いた可視化により、FedLoRAがクラス内コンパクト性の向上とクラス間分離性の強化を達成していることが確認され、より強いパーソナライズ性と一般化性能が示された。
• 理論的解析により、FedLoRAが非凸的条件下で𝒪(1/T)の収束速度を示すことが確認され、現実のFL環境下での収束性が裏付けられた。