[論文レビュー] FedAdapter: Efficient Federated Learning for Modern NLP

Dongqi Cai, Yaozong Wu+3 more|arXiv (Cornell University)|May 20, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

FedAdapter は、変動するアダプタモジュール（トランスフォーマーレイヤーに挿入される小さなトレーニング可能なコンponents）を動的に構成することで、大規模 NLP モデルのフェデレーテッドファインチューニングを高速化するフレームワークです。プログレッシブなアダプタ拡張とリアルタイムプロファイリングを採用し、vanilla FedNLP と比較して収束時間を最大 155.5× 減少させ、モバイルデバイス上でも実用的なトレーニング速度を達成しています。

ABSTRACT

Transformer-based pre-trained models have revolutionized NLP for superior performance and generality. Fine-tuning pre-trained models for downstream tasks often requires private data, for which federated learning is the de-facto approach (i.e., FedNLP). However, our measurements show that FedNLP is prohibitively slow due to the large model sizes and the resultant high network/computation cost. Towards practical FedNLP, we identify as the key building blocks adapters, small bottleneck modules inserted at a variety of model layers. A key challenge is to properly configure the depth and width of adapters, to which the training speed and efficiency is highly sensitive. No silver-bullet configuration exists: the optimal choice varies across downstream NLP tasks, desired model accuracy, and mobile resources. To automate adapter configuration, we propose FedAdapter, a framework that enhances the existing FedNLP with two novel designs. First, FedAdapter progressively upgrades the adapter configuration throughout a training session; the principle is to quickly learn shallow knowledge by only training fewer and smaller adapters at the model's top layers, and incrementally learn deep knowledge by incorporating deeper and larger adapters. Second, FedAdapter continuously profiles future adapter configurations by allocating participant devices to trial groups. Extensive experiments show that FedAdapter can reduce FedNLP's model convergence delay to no more than several hours, which is up to 155.5$ imes$ faster compared to vanilla FedNLP and 48$ imes$ faster compared to strong baselines.

研究の動機と目的

• 大規模トランスフォーマーモデルのフェデレーテッドファインチューニング（FedNLP）における、著しく高い通信および計算負荷を軽減すること。
• モバイルおよびエッジデプロイメントに実用的であるよう、FedNLP のトレーニング遅延を短縮すること。
• フェデレーテッド環境における効率的なパラメータ効率的ファインチューニングのキーファクターとして、アダプタモジュールを同定すること。
• 多様な NLP タスクおよびデバイス制約にわたる最適なアダプタの深さと幅の構成を自動で選択すること。
• 適応的トレーニング戦略により、モデルの精度を損なわず、高速な収束を実現すること。

提案手法

• トレーニング可能なボトルネックモジュールとしてのアダプタを導入し、さまざまなトランスフォーマーレイヤーに挿入することで、トレーニング可能なパラメータ数と通信コストを削減する。
• プログレッシブなトレーニングパラダイムを採用：最初は上位レイヤーのアダプタのみを用いて、トレーニング中に段階的により深い・広いアダプタを追加する。
• 試行錯誤によるプロファイリングメカニズムを採用：将来のアダプタ構成を完全デプロイする前に、一時的な試行グループにデバイスを割り当てて評価する。
• 活性化値のキャッシュを適用することで、バックプロパゲーション中の不要な活性化の保存を回避し、メモリおよび計算オーバーヘッドを削減する。
• 既存の FL 最適化（クライアント選択やデータサンプリング）と統合し、より広範なフェデレーテッドラーニングパイプラインと互換性を保つ。
• 勾配計算を最適化し、事前学習済みモデルのうち 99% 以上のパラメータを固定し、アダプタパラメータのみを更新する。

実験結果

リサーチクエスチョン

• RQ1 アダプタベースのパラメータ効率的ファインチューニングは、フルファインチューニングと比較して、フェデレーテッド NLP におけるトレーニング遅延を顕著に短縮できるか？
• RQ2 アダプタの深さと幅の構成は、フェデレーテッド NLP における収束速度とモデル精度にどのように影響するか？
• RQ3 動的でプログレッシブな構成戦略は、多様な NLP タスクおよびデバイスリソースにおいて、静的アダプタ構成を上回る性能を発揮できるか？
• RQ4 将来のアダプタ構成のリアルタイムプロファイリングは、フェデレーテッド環境におけるトレーニング効率をどの程度向上させられるか？
• RQ5 収束時間および通信コストの観点から、FedAdapter は強力なベースラインおよびvanilla FedNLP と比較して、性能と効率で優れているか？

主な発見

• FedAdapter は、FedNLP のモデル収束遅延を数時間以内にまで短縮し、vanilla FedNLP と比較して 155.5× の高速化を達成した。
• FedAdapter は、強力なベースラインと比較して収束時間で 48× の高速化を達成し、優れた効率性を示した。
• プログレッシブなアダプタ構成戦略により、初期段階のトレーニングオーバーヘッドが顕著に削減され、最初は浅く小さなアダプタのみでトレーニングを開始する。
• 試行グループによるリアルタイムプロファイリングにより、最適な将来のアダプタ構成の予測が正確に行えるようになり、無駄な計算を最小限に抑えることができる。
• 通信コストが著しく削減された。これは、更新および送信されるのはアダプタパラメータのみであるため、勾配およびモデル更新サイズが最小限に抑えられたためである。
• トレーニング時間を短縮しながらも高いモデル精度を維持でき、多様な NLP タスクおよびモバイルデバイスの制約において有効であることが実証された。