[論文レビュー] Federated Learning with Matched Averaging

Hongyi Wang, Mikhail Yurochkin+3 more|arXiv (Cornell University)|Feb 15, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用数 102

ひとこと要約

FedMAは、CNNとLSTMsの層ごとに分散学習を行うアルゴリズムで、クライアント間で一致する隠れた要素を揃えて平均化し、精度を向上させ、通信を削減します。

ABSTRACT

Federated learning allows edge devices to collaboratively learn a shared model while keeping the training data on device, decoupling the ability to do model training from the need to store the data in the cloud. We propose Federated matched averaging (FedMA) algorithm designed for federated learning of modern neural network architectures e.g. convolutional neural networks (CNNs) and LSTMs. FedMA constructs the shared global model in a layer-wise manner by matching and averaging hidden elements (i.e. channels for convolution layers; hidden states for LSTM; neurons for fully connected layers) with similar feature extraction signatures. Our experiments indicate that FedMA not only outperforms popular state-of-the-art federated learning algorithms on deep CNN and LSTM architectures trained on real world datasets, but also reduces the overall communication burden.

研究の動機と目的

• データプライバシーを保護しつつ、現代のニューラルアーキテクチャに対する連合学習を動機付ける。
• 集約時のニューラルネットワークパラメータにおける順列不変性に対処する。
• 異種クライアントデータに適応するグローバルモデルサイズを具現化する層ごとのマッチングと平均化アルゴリズムを提案する。
• 実データセット上でFedAvgおよびFedProxより収束と通信効率の改善を示す。

提案手法

• 局所ニューロンをグローバルニューロンと整列させるマッチド平均化目的関数（式2）を用いて、順列不変性を考慮したパラメータ平均化を定式化する。
• BBP-MAPを解法として用い、層ごとのマッチングと適応的なグローバルモデルサイズを扱うことでPFNMをCNNsとLSTMsへ拡張する。
• FedMAを提案する：最初の層をクライアント間でマッチングして平均化し、マッチした層を凍結してクライアントが次の層を訓練する、層ごとに繰り返す層-wise アルゴリズム。
• ニューロン/チャネルのマッチングの割り当て問題を解くためにハンガリー算法を使用し、グローバルモデルサイズの適応的成長戦略を採用する。
• 通信効率の高いバリアント（FedMA with communication）を取り入れ、ラウンドを通じてグローバルモデルサイズを小さく保ちながらマッチした構造を再利用する。」],
• research_questions:[

実験結果

リサーチクエスチョン

• RQ1 CNNsとLSTMsに対する連合学習で、ニューラルネットワークパラメータの順列不変性を効果的に対処できるか？
• RQ2 層ごとにマッチした平均化（FedMA）は、異種性がある場合にFedAvgおよびFedProxと比べて精度を向上させ、通信を削減するか？
• RQ3 連合設定においてグローバルモデルサイズはどのように異種クライアントデータに適応すべきか？
• RQ4 局所訓練エポック数がFedMAの性能と通信効率に与える影響は何か？

主な発見

方法	最終精度（％）	最適ローカルエポック	モデル成長率
FedAvg	86.29	20	1x
FedProx	85.32	20	1x
Ensemble	75.29	150	16x
FedMA	87.53	150	1.11x

• FedMA は、CNNとLSTMの異種性設定において、FedAvgおよびFedProxを大きく上回る。
• 適応的なグローバルモデルサイズを用いた層-wise マッチングは、より少ない通信でより良い収束を可能にする。
• 通信効率の高いFedMAバリアントは、強力な性能を達成しつつグローバルモデルを小さく維持する。
• FedMAの層ごとのアプローチは、マッチしたフィルタ/ニューロンの整列と平均化によって解釈性の利点をもたらす。
• 実験では、CIFAR-10とShakespeareタスクでFedMAがベースラインより高い最終精度を達成（CIFAR-10: FedMA 87.53% vs FedAvg 86.29%、FedProx 85.32%、Ensemble 75.29%；Shakespeare: FedMA 49.07% vs FedAvg 46.63%、FedProx 45.83%、Ensemble 46.06%）。