[論文レビュー] FedProc: Prototypical Contrastive Federated Learning on Non-IID data

Xutong Mu, Yulong Shen+5 more|arXiv (Cornell University)|Sep 25, 2021

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

FedProcは、非IIDデータ上のローカルモデル学習を補正するためのグローバルクラスプロトタイプをグローバル知識として用いる、フェデレーテッドラーニングの新規フレームワークを提案する。プロトタイプ的コントラスト型損失とハイブリッドローカルネットワークアーキテクチャを導入することで、FedProcはローカル目的をグローバル最適解に一致させ、CIFAR-10、CIFAR-100、Tiny-ImageNetで1.6%から7.9%のSOTA精度向上を達成し、許容可能な計算コストで実現した。

ABSTRACT

Federated learning allows multiple clients to collaborate to train high-performance deep learning models while keeping the training data locally. However, when the local data of all clients are not independent and identically distributed (i.e., non-IID), it is challenging to implement this form of efficient collaborative learning. Although significant efforts have been dedicated to addressing this challenge, the effect on the image classification task is still not satisfactory. In this paper, we propose FedProc: prototypical contrastive federated learning, which is a simple and effective federated learning framework. The key idea is to utilize the prototypes as global knowledge to correct the local training of each client. We design a local network architecture and a global prototypical contrastive loss to regulate the training of local models, which makes local objectives consistent with the global optima. Eventually, the converged global model obtains a good performance on non-IID data. Experimental results show that, compared to state-of-the-art federated learning methods, FedProc improves the accuracy by $1.6\%\sim7.9\%$ with acceptable computation cost.

研究の動機と目的

• クライアント間で非IIDなデータ分布が生じることによるフェデレーテッドラーニングの性能低下を是正すること。
• ローカル学習目的をグローバル最適解に一致させることで、モデルの一般化性能と収束性を向上させること。
• グローバルクラスプロトタイプを活用してクライント固有の知識を活かし、より良い表現学習を実現すること。
• 非IIDベンチマークにおいて、既存のSOTAフェデレーテッドラーニング手法を著しく上回る性能を維持しながら、計算効率を保つこと。

提案手法

• FedProcは、各サンプルの表現をそのグローバルクラスプロトタイプに引き寄せるとともに、他のクラスプロトタイプから遠ざけるグローバルプロトタイプ的コントラスト型損失を導入する。
• フレームワークは、コントラスト損失とクロスエントロピー損失の重み付き組み合わせを用いて、特徴学習と分類を同時に最適化するハイブリッドローカルネットワークアーキテクチャを採用する。
• グローバルクラスプロトタイプは、サーバーでクライアントレベルのプロトタイプを集約して計算され、その後クライアントに再送信され、ローカル学習の補正に使用される。
• 損失関数は係数 α = 1 - t/T を用いて、特徴学習と分類器学習の間のトレードオフを動的に調整し、学習初期段階では表現学習を優先する。
• クライアントはグローバルプロトタイプをインダクティブバイアスとして用い、ローカル学習の安定化とグローバル最適値からのドリフト低減を実現する。
• 本手法は標準的なFedAvg通信プロトコルと互換性があり、既存のFLパイプラインへのシームレスな統合を可能にする。

Figure 1: Federated learning process.

実験結果

リサーチクエスチョン

• RQ1 グローバルクラスプロトタイプは、非IIDフェデレーテッドラーニングにおけるローカルモデルドリフトを是正する有効なインダクティブバイアスとして機能するか？
• RQ2 プロトタイプ的コントラスト型学習は、歪んだデータを伴うフェデレーテッド環境で一般化性能と収束性をどのように向上させるか？
• RQ3 ローカル学習における表現学習と分類学習の損失重み付けを動的に調整することで、どのような影響が生じるか？
• RQ4 FedProcは、非IIDデータにおいてクライアント数や通信ラウンド数の増加に対してどのようにスケーリングするか？

主な発見

• 100人のクライアントを用いたCIFAR-100では、FedProcはトップ1正解率70.6%を達成し、以前のSOTA手法（MOON）の61.8%を著しく上回った。
• Tiny-ImageNetでは7.9%、CIFAR-10では1.6%の精度向上を、既存のSOTA手法と比較して達成した。
• 訓練時間は1ラウンドあたりFedAvgと同等であり、Tiny-ImageNetのような大規模データセットではSCAFFOLD や MOON よりも優れた計算オーバーヘッドを維持した。
• FedProcは優れたスケーラビリティを示し、CIFAR-100で100人のクライアントと500ラウンドの通信を経て72.5%の正解率を達成し、MOONを9.3%上回った。
• アブレーションスタディにより、動的損失重み付け（α = 1 - t/T）が固定重み付けまたは2段階学習戦略よりも性能を向上させることを確認した。
• グローバルプロトタイプ的コントラスト型損失は、ローカル目的をグローバル最適解に一致させ、非IIDデータにおけるモデルドリフトの低減と一般化性能の向上を実現した。

Figure 3: Overview of the local network architecture in FedProc. The feature extraction network (including the base encoder and the projection head) extracts the representation $z$ , which is used to calculate the global prototypical contrastive loss $\ell_{gpc}$ . By inputting the representation $z