[論文レビュー] Low-Parameter Federated Learning with Large Language Models

Jingang Jiang, Xiangyang Liu+1 more|arXiv (Cornell University)|Jul 26, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、ソフトラベル割り当てと低ランク微調整（LoRA）を用いることで、リソース制約のあるフェデレーテッド設定において大規模言語モデル（LLM）の効率的微調整を可能にする低パラメータフェデレーテッドラーニング（LP-FL）を提案する。LP-FLは、特に少サンプルセンチメント分析タスクにおいて、通信コストと計算コストを著しく削減しながら、全パラメータフェデレーテッドラーニングと同等またはそれ以上の性能を達成する。

ABSTRACT

We study few-shot Natural Language Understanding (NLU) tasks with Large Language Models (LLMs) in federated learning (FL) scenarios. It is a challenging task due to limited labeled data and communication capacities in FL, especially with mobile devices. Recent studies show LLMs can be prompted to perform few-shot NLU tasks like sentiment analysis and arithmetic reasoning. However, the huge sizes of LLMs result in high computation and communication costs, making classical FL schemes impractical. To address these challenges, we propose Low-Parameter Federated Learning (LP-FL). LP-FL combines few-shot prompt learning from LLMs with efficient communication and federating techniques. Our approach enables federated clients to assign soft labels to unlabeled data using gradually learned knowledge from the global model. Through iterative soft-label assigning, we continually expand the labeled set during the FL process. Additionally, to reduce computation and communication costs, LP-FL utilizes the Low-Rank Adaptation (LoRA) technique for compact learnable parameter construction, efficient local model fine-tuning, and affordable global model federation. LP-FL consistently outperforms Full-Parameter Federated Learning (FP-FL) in sentiment analysis tasks across various FL settings. Its resistance to overfitting allows LP-FL to equal or surpass centralized training in few-shot scenarios.

研究の動機と目的

• 限られたラベル付きデータと制限されたクライントリソースにおける大規模言語モデル（LLM）の微調整の課題に対処すること。
• モバイルおよびエッジデバイスにおけるLLMの全パラメータ微調整に伴う高い計算コストと通信コストを克服すること。
• グローバルモデルを用いて反復的なソフトラベル割り当てを行うことで、未ラベルデータを活用する半教師ありフェデレーテッドラーニングフレームワークを構築すること。
• 低ランク微調整（LoRA）により、パラメータの小さなサブセット（約30％）のみを微調整することで、モデルの複雑さと過学習のリスクを低減すること。
• クライントでのリソース使用を最小限に抑えながら、全パラメータフェデレーテッドラーニングと同等またはそれ以上の性能を達成すること。

提案手法

• 入力例にタスクの説明を追加することで、プロンプト学習を用いてLLMを少サンプル自然言語理解タスクに適応させる。
• 反復的ソフトラベル割り当てを実装：クライントはグローバルモデルの予測に基づき、未ラベルデータに対して確率的ラベルを割り当て、段階的にラベル付きデータセットを拡張する。
• 低ランク微調整（LoRA）を適用し、全モデルパラメータではなく、小さな学習可能なパラメータサブセット（約30％）のみを微調整することで、計算と通信のオーバーヘッドを低減する。
• 全モデル重みではなく、低ランクアダプタのみを用いてフェデレーテッド平均化を実行することで、効率的なグローバルモデル集約を可能にする。
• クライントの更新を繰り返すことで進化するグローバルモデルを維持し、時間経過とともにソフトラベルの品質を向上させる。
• 未ラベルデータに対するモデル予測を活用してトレーニングセットを拡張する半教師あり学習戦略を採用し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 LoRAによる低パラメータ微調整は、リソース制約のあるデバイスにおける大規模言語モデルのフェデレーテッドラーニングを効果的かつ効率的に可能にするか？
• RQ2 グローバルモデルからの反復的ソフトラベル割り当ては、低データ量・低通信量のフェデレーテッド環境においてモデル性能をどのように向上させるか？
• RQ3 LoRAによるモデル複雑さの低減は、半教師ありフェデレーテッドラーニングにおけるノイズや誤りのあるソフトラベルへの過学習を緩和するか？
• RQ4 LP-FLは、微調整に使用するパラメータ数が少ないにもかかわらず、全パラメータフェデレーテッドラーニング（FP-FL）を上回る精度と効率を達成できるか？
• RQ5 LP-FLはどのような条件下で、集中学習と同等またはそれ以上の性能を達成するか？

主な発見

• LP-FLは、IMDB（1％および5％ラベル付きデータ）およびYelp（1％および5％ラベル付きデータ）データセットの両方において、センチメント分析タスクで全パラメータフェデレーテッドラーニング（FP-FL）を一貫して上回る性能を発揮する。
• IMDBデータセット（1％ラベル付きデータ）では、LP-FLが0.858の精度を達成したのに対し、FP-FLは0.850であった。
• Yelpデータセット（1％ラベル付きデータ）では、LP-FLが0.922の精度を達成したのに対し、FP-FLは0.916であった。
• LP-FLは、モデル複雑さの低減により過学習が抑えられるため、ラベル付きサンプルが少ない状況でも、全パラメータ集中学習（FP-CT）と同等またはそれ以上の性能を達成する。
• LP-FLがFP-FLを上回る性能を発揮する理由は、LoRAがモデルの小さな安定したパラメータサブセットにのみ更新を制限するため、ノイズの多いソフトラベルへの過学習が抑制されるからである。
• 微調整に使用するパラメータが約30％にとどまるにもかかわらず、LP-FLはモデルの安定性と一般化性能を維持しており、全パラメータ学習と比較して性能低下が最小限に抑えられている。