[論文レビュー] FeDeRA:Efficient Fine-tuning of Language Models in Federated Learning Leveraging Weight Decomposition

Yuxuan Yan, Qian‐Qian Yang+2 more|arXiv (Cornell University)|Apr 29, 2024

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

FeDeRAは、非IIDデータ分布下でも性能が著しく向上する、大規模言語モデル向けの新規フェデレーテッドファインチューニング手法を提案する。この手法は、特異値分解（SVD）を用いてLoRAアダプタモジュールを初期化することで、エッジデバイス上での全パラメータファインチューニングと同等の精度を達成しながら、トレーニング時間を最大97.9%短縮する。

ABSTRACT

Despite their exceptional performance on various tasks after fine-tuning, pre-trained language models (PLMs) face significant challenges due to growing privacy concerns with data in centralized training methods. We consider federated learning (FL) to fine-tune PLMs in this paper. However, the substantial number of parameters in PLMs poses significant difficulties for client devices with limited communication and computational resources. One promising solution is to exploit parameter-efficient fine-tuning (PEFT) into FL, which trains a much smaller set of parameters than full parameter fine-tuning (FFT). Although remarkably improving training efficiency, PEFT methods may lead to degraded performance especially when data across different clients are non i.i.d, as revealed by experimental results. To overcome this, we propose FeDeRA, which extends and improves a widely used PEFT method, i.e., low-rank adaption (LoRA). FeDeRA follows LoRA by decomposing the weight matrices of the PLMs into low-rank matrices, which allows for more efficient computation and parameter updates during fine-tuning. Different from LoRA which simply initializes these low-rank matrices by random sampling or zeros, the proposed FeDeRA initializes these matrices by the results of performing singular value decomposition (SVD) on the pre-trained weight matrices. Extensive experiments across various tasks and datasets show that FeDeRA outperforms the considered PEFT baselines and is comparable to or even surpasses FFT method within the FL setting in terms of task performance. Moreover, FeDeRA requires only 1% trainable paramentes compared to FFT, significantly reducing training time costs by more than 90% to achieve the same task performance level. The experimental results also highlight the robustness of FeDeRA against data heterogeneity, as it maintains stable task performance even as data heterogeneity increases.

研究の動機と目的

• 非IIDデータ分布によるパラメータ効率の良いファインチューニング（PEFT）手法（例：LoRA）の性能低下を是正すること。
• 大規模事前学習済み言語モデル（PLM）のフェデレーテッドファインチューニングにおける通信および計算負荷を低減すること。
• 全パラメータファインチューニング（FFT）と同等の高いモデル精度を維持しながら、トレーニング可能なパラメータ数とトレーニング時間を最小限に抑えること。
• ジャーナルAGX Orinなどのリソース制限のあるエッジデバイス上で、効率的かつプライバシー保護されたファインチューニングを可能にすること。

提案手法

• FeDeRAは、事前学習済み重み行列に対して特異値分解（SVD）を実行し、主成分をアダプタ初期重みとして選択することで、LoRAアダプタモジュールを初期化する。
• この手法では、元の事前学習済み重みを保持・凍結し、ファインチューニング中はSVDから導出されたアダプタコンポONENTSのみを更新する。
• アダプタモジュールの構造はLoRAそのままであり、計算およびメモリのオーバーヘッドが低減される。
• SVDは初期化時のみ1回実行されるため、全トレーニングに比べて追加コストは無視できる。
• このアプローチは、クライアントがローカルに学習し、サーバーにアダプタパラメータのみを送信して集約するフェデレーテッドラーニングフレームワークに統合されている。
• 本手法は、データの非IID性の程度が異なる3つのNLPタスクにおいて、RoBERTa-baseおよびDeBERTaV3-baseで評価されている。

実験結果

リサーチクエスチョン

• RQ1 SVDベースの初期化によるLoRAアダプタは、非IIDデータ分布下でのフェデレーテッドファインチューニングにおける性能低下を是正できるか？
• RQ2 フェデレーテッド環境下で、FeDeRAは全パラメータファインチューニング（FFT）と比較して、モデル精度とトレーニング効率の面でどの程度優れているか？
• RQ3 エッジデバイス上でのFFTおよび他のPEFT手法と比較して、FeDeRAは通信量およびトレーニング時間をどの程度短縮できるか？
• RQ4 SVD初期化は、非均質なデータを伴うフェデレーテッドラーニングにおいて、収束速度および最終的な性能を向上させるか？

主な発見

• FeDeRAは、他のすべてのPEFT手法を上回り、3つのタスクおよび6つのデータセットにおいて、全パラメータファインチューニング（FFT）と同等またはそれ以上の性能を達成した。
• RoBERTa-baseでは、3つのデータセットにおいて、FFTに比べてトレーニング時間を95.9%、97.9%、96.9%短縮し、目標精度の99%に到達した。
• DeBERTaV3-baseでは、同じ精度目標下で、FFTに比べてトレーニング時間を97.3%、96.5%、96.5%短縮した。
• SVD初期化ステップは、モデル初期化時に1回だけ実行されるため、追加コストは無視できるほど小さい。
• ジャーナルAGX Orinデバイスを用いた実世界のフェデレーテッド実験では、FeDeRAは全手法の中で最も短いトレーニング時間を達成しながら、高い精度を維持した。
• FeDeRAは、データの非均質性が原因で生じる性能ギャップを効果的に是正し、非IID環境下で標準的なLoRAや他のPEFT手法を上回った。