[論文レビュー] FedTune: A Deep Dive into Efficient Federated Fine-Tuning with Pre-trained Transformers

Jinyu Chen, Wenchao Xu+4 more|arXiv (Cornell University)|Nov 15, 2022

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

本稿では、FLにおける事前学習済みビジョンおよびビジョン・ランゲージ変換器のパラメータ効率的なフェデレーテッドファインチューニングフレームワーク「FedTune」を提案する。実験の結果、CLIPモデルにおけるバイアスチューニングが、IIDでは95%以上、非IIDでは92%の最高精度を達成し、高速な収束性と通信コストの低減を実現しており、従来のCNNや他のチューニング手法を凌駕していることが示された。

ABSTRACT

Federated Learning (FL) is an emerging paradigm that enables distributed users to collaboratively and iteratively train machine learning models without sharing their private data. Motivated by the effectiveness and robustness of self-attention-based architectures, researchers are turning to using pre-trained Transformers (i.e., foundation models) instead of traditional convolutional neural networks in FL to leverage their excellent transfer learning capabilities. Despite recent progress, how pre-trained Transformer models play a role in FL remains obscure, that is, how to efficiently fine-tune these pre-trained models in FL and how FL users could benefit from this new paradigm. In this paper, we explore this issue and demonstrate that the fine-tuned Transformers achieve extraordinary performance on FL, and that the lightweight fine-tuning method facilitates a fast convergence rate and low communication costs. Concretely, we conduct a rigorous empirical study of three tuning methods (i.e., modifying the input, adding extra modules, and adjusting the backbone) using two types of pre-trained models (i.e., vision-language models and vision models) for FL. Our experiments show that 1) Fine-tuning the bias term of the backbone performs best when relying on a strong pre-trained model; 2) The vision-language model (e.g., CLIP) outperforms the pure vision model (e.g., ViT) and is more robust to the few-shot settings; 3) Compared to pure local training, FL with pre-trained models has a higher accuracy because it alleviates the problem of over-fitting. We will release our code and encourage further exploration of pre-trained Transformers and FL.

研究の動機と目的

• 事前学習済み変換器をフェデレーテッドラーニングで効率的にファインチューニングすることで、モデル性能を向上させるとともにリソースコストを低減する方法を調査すること。
• ビジョンおよびビジョン・ランゲージモデルにおける、パラメータ効率的なチューニング手法（入力変更、モジュール追加、バックボーン調整）の有効性を、FL設定で評価すること。
• 特に非IIDデータ分布下において、ファウンデーションモデルを用いたフェデレーテッドトレーニングが、純粋なローカルトレーニングを上回るかどうかを検証すること。
• チューニング手法の通信効率およびモデルサイズを測定し、リソース制限のあるデバイスへの実装可能性を評価すること。

提案手法

• フレームワークは、事前学習済みビジョン（ViT）およびビジョン・ランゲージ（CLIP）モデルに、プロンプトチューニング（入力変更）、アダプタチューニング（追加モジュール）、バイアスチューニング（バックボーン調整）の3つのチューニング手法を適用する。
• フェデレーテッドラーニングは、グローバルモデルの集約戦略を採用したFedAvgを用いて実施され、クライアントはローカルで学習し、勾配をサーバーにアップロードする。
• 収束条件は、99%の精度に達するか、連続するラウンド間で学習精度の差が0.5%未満になるまでと定義される。
• 通信コストは、$ c = r \times n \times s \times 2 $ で計算され、ここで $ r $ はラウンド数、$ n $ はクライアント数、$ s $ はモデルサイズを表す。
• 本研究では、IID対非IIDデータ、少サンプル（1〜16ショット）、クライアント数（10〜100）のさまざまな設定で性能を評価した。
• 分布シフトが生じる状況でのパーソナライズ化の恩恵を評価するため、Per-FedAvgをフレームワークに拡張した。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける事前学習済み変換器のファインチューニングにおいて、プロンプト、アダプタ、バイアスチューニングのうち、どのパラメータ効率的なチューニング手法が最高のパフォーマンスを発揮するか？
• RQ2 少サンプルおよび非IID設定下において、ビジョン・ランゲージモデル（例：CLIP）と純粋なビジョンモデル（例：ViT）の間で、精度および耐障害性に差は認められるか？
• RQ3 特にデータが乏しい、または非IIDな状況下において、事前学習済みモデルを用いたフェデレーテッドファインチューニングが、純粋なローカルトレーニングを上回るか？
• RQ4 通信コストおよびモデルサイズの観点から、これらのチューニング手法はどれほど効率的であり、エッジデバイスへのデプロイが可能か？
• RQ5 パーソナライズドFL手法（例：Per-FedAvg）を事前学習済みモデルと効率的チューニングと組み合わせることで、性能がさらに向上するか？

主な発見

• CLIPモデルにおけるバイアスチューニングが最も高い精度を達成し、IID設定では95%以上、非IID設定では92%以上を記録し、他のすべてのチューニング手法を上回った。
• CLIPモデルは、特に少サンプル設定下でViTモデルを常に上回り、データ不足や分布シフトに対してより高い耐性を示した。
• CLIPプロンプトチューニングの通信コストは、16ショット学習でわずか1.038MBに抑えられ、全手法が15ラウンド以内に収束した。
• チューニングパラメータは軽量であり、CLIPプロンプトはわずか17.3KB、CLIPバイアスは459.7KBに留まり、エッジデバイスへのデプロイに適している。
• 16ショット非IID学習においてCLIPバイアスを用いた場合、Per-FedAvgはFedAvgに比べ6.7%の性能向上を達成した。また、ViTバイアスを用いた1ショット学習では32.65%の向上が得られた。
• ファウンデーションモデルを用いたフェデレーテッドトレーニングは、過学習を低減させ、特に非IID設定下では純粋なローカルトレーニングよりも高い精度を達成した。