Skip to main content
QUICK REVIEW

[論文レビュー] FedAvg with Fine Tuning: Local Updates Lead to Representation Learning

Liam Collins, Hamed Hassani|arXiv (Cornell University)|May 27, 2022
Privacy-Preserving Technologies in DataComputer Science被引用数 46
ひとこと要約

複数のローカル更新を伴うFedAvgは、異種クライアント間で共有の低次元表現を学習し、多タスク線形回帰設定で真の表現へ理論的に収束することを示す。ニューラルネットでの実証として、ファインチューニングによる表現学習が示される。

ABSTRACT

The Federated Averaging (FedAvg) algorithm, which consists of alternating between a few local stochastic gradient updates at client nodes, followed by a model averaging update at the server, is perhaps the most commonly used method in Federated Learning. Notwithstanding its simplicity, several empirical studies have illustrated that the output model of FedAvg, after a few fine-tuning steps, leads to a model that generalizes well to new unseen tasks. This surprising performance of such a simple method, however, is not fully understood from a theoretical point of view. In this paper, we formally investigate this phenomenon in the multi-task linear representation setting. We show that the reason behind generalizability of the FedAvg's output is its power in learning the common data representation among the clients' tasks, by leveraging the diversity among client data distributions via local updates. We formally establish the iteration complexity required by the clients for proving such result in the setting where the underlying shared representation is a linear map. To the best of our knowledge, this is the first such result for any setting. We also provide empirical evidence demonstrating FedAvg's representation learning ability in federated image classification with heterogeneous data.

研究の動機と目的

  • 異種のフェデレーテッド設定において、なぜFedAvgとファインチューニングがよく一般化するのかを理解する動機づけ。
  • 共有された k 次元表現を持つ多タスク線形回帰設定を形式化する。
  • tau >= 2 のローカル更新を伴うFedAvgが真の表現を線形速度で学習することを証明する。
  • 実データセット上のニューラルネットワークにおける表現学習の実証的証拠を提供する。

提案手法

  • 問題を、共有 d-by-k 表現 B* とクライアント固有のヘッド w_i* を用いた多タスク線形回帰としてモデル化する。
  • 母集団損失と等しいクライアント重み付けの下で、tau >= 2 のローカル更新を伴うFedAvgを分析する。
  • 多様性と条件づけに明示的に依存する形で、学習表示 B_T と B_* の距離 dist(B_T, B_*) が T ラウンドで ε 以下に収束することを証明する。
  • D-GD (tau=1) は真の表現を回復できないことを示す。
  • CNN の実験を通じて非線形設定への洞察を拡張し、表現類似度指標を用いてファインチューニング中の表現保持を評価する。

実験結果

リサーチクエスチョン

  • RQ1異種クライアント分布を横断して、複数のローカル更新を伴うFedAvgは共有表現を回復できるか。
  • RQ2ローカル更新数を増やす(tau>=2)ことで、各クライアントのヘッドが利用できる共通表現の学習を可能にするか。
  • RQ3この設定でD-GD (tau=1) は共有表現を学習するのに十分か。
  • RQ4ニューラルネットワークを用いた実証実験は、表現学習と新しいタスクへのファインチューニングへの頑健性を示すか。

主な発見

  • tau>=2 のローカル更新を伴う FedAvg は、多タスク線形回帰設定で真の表現を線形速度で学習する。
  • クライアント間でより多様なローカルヘッドは、真の部分空間から学習表現へのエネルギー移転を促進し、収束を促す。
  • 1ステップのローカル更新(D-GD)は、初期化に関係なく共有表現を学習できない。
  • 実データセット上のニューラルネットワークの実験は、FedAvgとファインチューニングが、分散SGDよりファインチューニング時の表現の変化が小さい表現を生み出すことを示し、表現学習を示唆する。
  • 理論結果は、母集団損失と穏やかな初期条件の下で収束を示し、学習表現と真の表現の主位角距離の指数減衰を示す。

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。