[論文レビュー] FedBABU: Towards Enhanced Representation for Federated Image Classification

Jaehoon Oh, Sangmook Kim+1 more|arXiv (Cornell University)|Jun 4, 2021

Privacy-Preserving Technologies in Data参考文献 48被引用数 48

ひとこと要約

FedBABU は連邦学習中にモデルを訓練可能な本体と固定ヘッドに分離し、推論時にヘッドを微調整して効率的なパーソナライズを実現する。異種データ設定で FedAvg より表現力とパーソナライゼーションを向上させる。

ABSTRACT

Federated learning has evolved to improve a single global model under data heterogeneity (as a curse) or to develop multiple personalized models using data heterogeneity (as a blessing). However, little research has considered both directions simultaneously. In this paper, we first investigate the relationship between them by analyzing Federated Averaging at the client level and determine that a better federated global model performance does not constantly improve personalization. To elucidate the cause of this personalization performance degradation problem, we decompose the entire network into the body (extractor), which is related to universality, and the head (classifier), which is related to personalization. We then point out that this problem stems from training the head. Based on this observation, we propose a novel federated learning algorithm, coined FedBABU, which only updates the body of the model during federated training (i.e., the head is randomly initialized and never updated), and the head is fine-tuned for personalization during the evaluation process. Extensive experiments show consistent performance improvements and an efficient personalization of FedBABU. The code is available at https://github.com/jhoon-oh/FedBABU.

研究の動機と目的

• データの異質性の下で単一のグローバルモデルがパーソナライズされたモデルとどのように相互作用するかを理解する動機づけ。
• ニューラルネットワークを普遍的な本体とパーソナライズされたヘッドに分離し、パーソナライゼーションの劣化の原因を特定する。
• 連邦学習中に本体のみを更新し、ヘッドを固定する FedBABU を提案・検証する。
• クライアント間で固定されたヘッドが強力な表現力を生み出し、デバイス上でのパーソナライゼーションを加速することを示す。

提案手法

• モデルパラメータを本体（抽出器）とヘッド（分類器）に分離する。
• FedBABU の間、各クライアントでは本体のみを更新する；ヘッドは固定された、ランダム初期化されたグローバルヘッドを使用する。
• クライアント間で本体パラメータのみを集約する。連邦学習中はヘッドを更新・集約しない。
• 初期グローバルモデルの性能とクライアント固有のファインチューニング性能を比較してパーソナライゼーションを評価する。
• 固定ヘッドが共同訓練されたヘッドと同等の中央集権的性能を提供できることを示す。
• ヘッドなしで表現力を評価するために、訓練済みヘッドをテンプレートに置換することをオプションとして示す。）

実験結果

リサーチクエスチョン

• RQ1 異質なデータを伴う連邦学習において、本体とヘッドを分離することでパーソナライゼーションの劣化を軽減できるか？
• RQ2 連邦学習中にヘッドを固定することが、後続の個別ファインチューニングのための普遍的表現の質を向上させるか？
• RQ3 データの異質性の変化に対して、初期精度と個別適合の精度の観点で、FedBABU は FedAvg や他のパーソナライゼーション手法とどう比較されるか？
• RQ4 ヘッドなしでクラス・テンプレートを用いて評価した場合、FedBABU のグローバルモデルの表現力は堅牢か？
• RQ5 FedProx のような正則化された FL フレームワークへ FedBABU は一般化できるか？

主な発見

• FedBABU で本体のみを訓練すると、特に高い異質性下で FedAvg と比べて強力または同等の表現力を示す。
• クライアント間で固定されたヘッドは表現学習に対して堅牢な指針を提供し、パーソナライゼーションの効率を向上させる。
• FedBABU は迅速なパーソナライゼーションを可能にし、しばしば数エポックのファインチューニングだけで、いくつかの設定で FedAvg より優れている。
• ヘッドが訓練されていない場合、FedBABU はパーソナライゼーションを犠牲にせず、初期精度が高いまたは競争力のある水準を達成する。
• FedAvg ではヘッドまたは全体モデルのファインチューニングがパーソナライゼーションを改善するが、FedBABU はヘッドのみをファインチューニングすることで強力な結果を得られる。