[論文レビュー] Exploring Parameter-Efficient Fine-Tuning to Enable Foundation Models in Federated Learning

Guangyu Sun, Khalid, Umar+3 more|arXiv (Cornell University)|Oct 4, 2022

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

この論文では、ViT-Base などの大規模事前学習モデルにアダプタ、プロンプト、バイアスチューニングなどのパラメータ効率の良い微調整（PEFT）技術を適用することで、大規模事前学習モデルを活用できる新しいフェデレーテッドラーニングフレームワークであるFedPEFTを提案する。通信するパラメータの割合を極めて小さく（1ラウンドあたり328MBから0.68MBにまで削減することで）、多様なFL設定において競争的または優れた性能を達成しながら、通信オーバーヘッドを著しく削減している。

ABSTRACT

Federated learning (FL) has emerged as a promising paradigm for enabling the collaborative training of models without centralized access to the raw data on local devices. In the typical FL paradigm (e.g., FedAvg), model weights are sent to and from the server each round to participating clients. Recently, the use of small pre-trained models has been shown to be effective in federated learning optimization and improving convergence. However, recent state-of-the-art pre-trained models are getting more capable but also have more parameters, known as the "Foundation Models." In conventional FL, sharing the enormous model weights can quickly put a massive communication burden on the system, especially if more capable models are employed. Can we find a solution to enable those strong and readily available pre-trained models in FL to achieve excellent performance while simultaneously reducing the communication burden? To this end, we investigate the use of parameter-efficient fine-tuning in federated learning and thus introduce a new framework: FedPEFT. Specifically, we systemically evaluate the performance of FedPEFT across a variety of client stability, data distribution, and differential privacy settings. By only locally tuning and globally sharing a small portion of the model weights, significant reductions in the total communication overhead can be achieved while maintaining competitive or even better performance in a wide range of federated learning scenarios, providing insight into a new paradigm for practical and effective federated systems.

研究の動機と目的

• ViT-Base（8400万パラメータ）のような大規模事前学習モデルを用いたフェデレーテッドラーニングにおける通信ボトル neck を解消すること。
• 集中学習で一般的に用いられるパラメータ効率の良い微調整（PEFT）手法が、データの非独立同分布性、クライアントの不安定性、微分プライバシーの下でもフェデレーテッド環境に効果的に適応可能かどうかを調査すること。
• 膨大な通信コストを伴わないまま、基盤モデルを用いたフェデレーテッドラーニングで高い性能を達成すること。
• 非独立同分布データ、データ不足、微分プライバシーのさまざまなFLシナリオにおいて、FedPEFTを体系的に評価すること。
• 厳しいFL環境下で、PEFTに基づく微調整が、フル微調整やヘッド微調整を上回る精度と通信効率を達成できることを示すこと。

提案手法

• バイアスチューニング、アダプタチューニング、プロンプトチューニングの3つのPEFT手法をフェデレーテッドラーニングフレームワークに統合し、クライアントごとにモデルパラメータの小さなサブセットのみを更新する。
• クライアント側で事前学習されたバックボーン重みを凍結し、わずかな学習可能なアダプターやプロンプトヘッドのみを微調整することで、トレーニング可能なパラメータ数を著しく削減する。
• クライアントとサーバー間で通信するのは、更新されたPEFTパラメータ（例：アダプタ重みやプロンプト埋め込み）のみであり、1ラウンドあたりの通信量を約328MB（フルモデル）から約0.68MBに削減する。
• 標準的なフェデレーテッドアベレージング（FedAvg）を用いてグローバルモデルを集約するが、更新および送信するのはPEFT固有のパラメータのみである。
• 各クライアントが事前学習モデル上でローカルにPEFTを実行し、サーバーに送信するのはPEFTパラメータのみであるという統一されたトレーニングパイプラインを採用する。
• 教師あり学習、DINOを用いた自己教師あり学習を含む複数の事前学習パラダイムと、バックボーンサイズ（ViT-B、ViT-S）をサポートすることで、汎化性と耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ効率の良い微調整（PEFT）をフェデレーテッドラーニングに効果的に適用することで、通信コストを削減しながらモデル性能を維持または向上させることができるか？
• RQ2 データの非独立同分布性、クライアントの非IID分布、クライアントの不安定性の下で、FedPEFTはフル微調整やヘッド微調整と比較してどの程度の性能を示すか？
• RQ3 微分プライバシー（DP）環境下でも、FedPEFTは高い性能を維持できるか？（勾配やパラメータにノイズが追加される）
• RQ4 各クライアントが1,000～2,000件のサンプルしか持たないような低データレジームでは、FedPEFTはどの程度の性能を示すか？
• RQ5 異なる事前学習データセット（ImageNet-1K 対 ImageNet-21K）と事前学習パラダイム（教師あり対自己教師あり）が、FedPEFTの性能にどのように影響を与えるか？

主な発見

• ViT-Baseを用いた場合、1ラウンドあたりの通信量を約328MB（フルモデル）から約0.68MBにまで削減し、通信オーバーヘッドを99.8％削減した。
• アダプタチューニングを用いたFedPEFTは、ImageNet-21Kでフル事前学習したモデルを用いてCIFAR-100で87.99％の精度を達成し、同じ事前学習重みを用いたフル微調整（92.09％）を上回った。
• 微分プライバシー（DP）環境下でも、DINO事前学習済みのViT-Bを用いたFedPEFT（バイアスチューニング）は、ImageNet-1Kで85.34％の精度を達成し、同じDP制約下でのフル微調整を上回った。
• 低データレジーム（1,000～2,000件／クライアント）でも、FedPEFTはフル微調整やヘッド微調整を一貫して上回り、データ不足に対して高い耐性を示した。
• 異なるバックボーンサイズ（ViT-B 対 ViT-S）や事前学習データセット（ImageNet-1K 対 ImageNet-21K）においても、FedPEFTは高い性能を維持し、汎化性と安定性を示した。
• ヘッド微調整の性能は、モデルサイズや事前学習データスケールにかかわらず比較的安定していたが、FedPEFTははるかに高い精度を達成した。