[論文レビュー] FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning

Weirui Kuang, Bingchen Qian+8 more|arXiv (Cornell University)|Sep 1, 2023

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

FS-LLMはエンドツーエンドのフェデレーテッドファインチューニングを提供し、ベンチマーク、PEFTアルゴリズム、プライバシー保護オプション、訓練アクセラレータをFederatedScopeエコシステム内で提供します。完全なモデルアクセスの有無にかかわらず、LLMsのFLベースの適応を効率的に実現します。

ABSTRACT

LLMs have demonstrated great capabilities in various NLP tasks. Different entities can further improve the performance of those LLMs on their specific downstream tasks by fine-tuning LLMs. When several entities have similar interested tasks, but their data cannot be shared because of privacy concerns regulations, federated learning (FL) is a mainstream solution to leverage the data of different entities. However, fine-tuning LLMs in federated learning settings still lacks adequate support from existing FL frameworks because it has to deal with optimizing the consumption of significant communication and computational resources, data preparation for different tasks, and distinct information protection demands. This paper first discusses these challenges of federated fine-tuning LLMs, and introduces our package FS-LLM as a main contribution, which consists of the following components: (1) we build an end-to-end benchmarking pipeline, automizing the processes of dataset preprocessing, federated fine-tuning execution, and performance evaluation on federated LLM fine-tuning; (2) we provide comprehensive federated parameter-efficient fine-tuning algorithm implementations and versatile programming interfaces for future extension in FL scenarios with low communication and computation costs, even without accessing the full model; (3) we adopt several accelerating and resource-efficient operators for fine-tuning LLMs with limited resources and the flexible pluggable sub-routines for interdisciplinary study. We conduct extensive experiments to validate the effectiveness of FS-LLM and benchmark advanced LLMs with state-of-the-art parameter-efficient fine-tuning algorithms in FL settings, which also yields valuable insights into federated fine-tuning LLMs for the research community. To facilitate further research and adoption, we release FS-LLM at https://github.com/alibaba/FederatedScope/tree/llm.

研究の動機と目的

• フェデレーテッド設定におけるLLMsのファインチューニングの課題を、プライバシー、効率、カスタマイズの制約の下で動機づけ、解決する。
• 多様なデータセットとタスクにわたるフェデレーテッドLLMファインチューニングを評価するエンドツーエンドのベンチマークパイプラインを提供する。
• 低通信/計算コストとクローズドソースモデルへのアクセスを可能にするフェデレーテッドPEFTアルゴリズムとインターフェースのライブラリを提供する。
• 消費者向けハードウェアでのFLベースのLLMファインチューニングを実現するためのアクセラレータとリソース効率の高い訓練を可能にする。
• 個別化FL(pFL)やFedHPOなど、LLMsのFL内の学際研究を促進する拡張性を提供する。

提案手法

• FederatedScope(FS)上に3つのモジュールを持つFS-LLMを導入する：LLM-Benchmarks、LLM-AlgZoo、LLM-Trainer。
• フェデレーテッドデータセットと対応する評価タスク（Fed-CodeAlpaca、Fed-Dolly、Fed-GSM8K-3）を用いたエンドツーエンドLLMファインチューニングベンチマークを提供する。
• システムにはフェデレーテッドPEFTアルゴリズム（LoRA、P-tuning、Prompt tuning）と、全モデルアクセスが制限されるシナリオ向けのプライバシー保護オプション（FedOT/offsite-tuning）を実装する。
• メモリ・時間・通信コストを削減するために、混合精度、DeepSpeedデータ並列性、量子化、ストリーミング、圧縮などの加速・リソース効率演算子を組み込む。
• 全モデルアクセスの有無にかかわらず統一されたイベント駆動型インターフェースを提供し、pFLおよびFedHPOとの容易な拡張・統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 PEFTアルゴリズムを用いたLLMのフェデレーテッドファインチューニングは、さまざまな領域とデータの非均質性に対してどれほど効果的か。
• RQ2 全モデルアクセスなしで、限定リソース下でフェデレーテッドファインチューニングを効率的に実行できるか。
• RQ3 個別化FL(pFL)やFedHPOの高度なフェデレーテッドLLMファインチューニングへの統合からどのような洞察が得られるか。
• RQ4 ベンチマークデータセットと評価タスクは、フェデレーテッドLLMファインチューニングにおける現実の非均質性と分布シフトをどの程度反映するか。
• RQ5 FLベースのLLMファインチューニングにおける通信、計算、精度のトレードオフはどのようになるか。

主な発見

Algorithm	Scenario	Fed-CodeAlpaca	Fed-Dolly	Fed-GSM8K-3
LoRA	Global	13.54 ± 0.24	46.25 ± 0.44	14.81 ± 1.04
LoRA	Fed	13.29 ± 0.10	46.57 ± 0.24	14.25 ± 1.37
LoRA	Local	10.99 ± 0.77	43.98 ± 1.38	11.88 ± 1.35
P-tuning	Global	10.24 ± 0.30	41.29 ± 0.01	12.13 ± 0.41
P-tuning	Fed	9.71 ± 0.66	41.50 ± 0.32	11.75 ± 0.39
P-tuning	Local	7.78 ± 2.27	38.76 ± 2.39	11.42 ± 0.96
Prompt tuning	Global	9.80 ± 1.79	41.24 ± 0.54	9.75 ± 1.49
Prompt tuning	Fed	9.63 ± 0.36	40.72 ± 0.64	9.86 ± 0.59
Prompt tuning	Local	7.18 ± 2.17	37.65 ± 6.12	9.65 ± 0.77

• PEFTを用いたフェデレーテッドファインチューニングは、ローカルファインチューニングを大幅に上回り、グローバルファインチューニングの性能に近づく。
• LoRAは、コード、汎用言語、数学タスクのフェデレーテッド設定において一貫して最強のパフォーマンスを示す。
• PEFTベースのFLは通信量とメモリ要件を削減し、リソースが限られたクライアントでのフェデレーテッド適応を実現可能にする。
• FedOTは全モデルアクセスなしでもプライバシー保護型のファインチューニングを可能にし、クローズドソースLLMの適応を促進する。
• FS-LLMベンチマークスイートは、コンテナ化された評価環境とコスト関連指標を備えた再現性の高い結果を提供する。
• ワークフローはシミュレーテッド、分散、クラスタリングモードをサポートし、pFLおよびFedHPO研究の拡張性を可能にする。