[論文レビュー] Making Batch Normalization Great in Federated Deep Learning

Jike Zhong, Hong-You Chen+1 more|arXiv (Cornell University)|Mar 12, 2023

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、非IIDデータおよび高頻度通信に起因する勾配のずれと統計的不一致を解消することで、フェデレーテッドラーニング（FL）におけるバッチ正則化（BN）の性能を回復する、シンプルで効果的な手法FixBNを提案する。FixBNは追加の学習や通信コストを伴わず、BNの利点を維持しつつ、多様なFL設定においてBNおよびグループ正則化（GN）を凌駕する。特に通信頻度が低く、非IID度が中程度の環境で優れた性能を発揮する。

ABSTRACT

Batch Normalization (BN) is widely used in {centralized} deep learning to improve convergence and generalization. However, in {federated} learning (FL) with decentralized data, prior work has observed that training with BN could hinder performance and suggested replacing it with Group Normalization (GN). In this paper, we revisit this substitution by expanding the empirical study conducted in prior work. Surprisingly, we find that BN outperforms GN in many FL settings. The exceptions are high-frequency communication and extreme non-IID regimes. We reinvestigate factors that are believed to cause this problem, including the mismatch of BN statistics across clients and the deviation of gradients during local training. We empirically identify a simple practice that could reduce the impacts of these factors while maintaining the strength of BN. Our approach, which we named FIXBN, is fairly easy to implement, without any additional training or communication costs, and performs favorably across a wide range of FL settings. We hope that our study could serve as a valuable reference for future practical usage and theoretical analysis in FL.

研究の動機と目的

• フェデレーテッドラーニングにおけるバッチ正則化（BN）の再評価を目的とし、不安定であると見なされるためGNに置き換えられる傾向にあるBNの使用を再考すること。
• 特に高頻度通信および極端な非IID環境下でBNの性能低下が生じる主な原因を同定し、それらに対処すること。
• 収束性と一般化性能の利点を保ちつつ、FLにおけるBNの欠点を解消する実用的で軽量なソリューションを提案すること。
• 中央集権的学習とフェデレーテッドラーニングのギャップを埋めるために、アーキテクチャや学習コストの変更なしにBNを信頼できる形でFLで利用可能にする。

提案手法

• FixBNは、各通信ラウンドでグローバルモデルと同期されるクライアント固有の移動平均を用いて、局所学習中のBN層の累積統計量の更新ルールを変更する。
• これにより、局所的およびグローバルなデータ分布間の統計的不一致が低減され、BN層内の累積平均および分散がクライアント間で一貫して更新される。
• 遅延更新戦略を適用する：局所的な累積統計量は、グローバルモデルが集約された後でのみ更新されるため、非IIDなミニバッチ統計量に起因する発散を防ぐ。
• 前向き伝搬の変更や追加パラメータを必要とせず、既存のFLフレームワークおよび学習パイプラインと互換性がある。
• 標準的なFedAvgに比べて追加の通信コストや計算コストを伴わず、軽量である。
• 事前学習済みモデルおよび広く使われているBNベースのアーキテクチャ（例：ResNet）と後方互換性があり、シームレスな統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 どのようなFL設定下でバッチ正則化（BN）がグループ正則化（GN）を上回り、またどのような状況で失敗するのか？
• RQ2 特に高頻度通信および極端な非IID環境下でBNの性能低下が生じる主な要因は何か？
• RQ3 モデルアーキテクチャや学習プロセスの変更なしに、BNにおける勾配のずれと統計的不一致の問題を緩和できるか？
• RQ4 BNの累積統計量の更新ルールに対する単純な修正が、収束性の利点を保ちつつFLにおけるBNの性能を回復できるか？

主な発見

• FixBNは高頻度通信のFL設定においてBNの性能を顕著に向上させ、E=1の局所ステップ数であっても中央集権的学習の精度を回復する。
• 非IIDシャーディングとE=100を用いたCIFAR-10では、FixBNは76.56%のテスト精度を達成し、GN（59.69%）および標準BN（53.97%）を上回る。
• 低通信レジーム（例：10Kラウンド）では、FixBNが優れた性能（非IID CIFAR-10で87.71%）を維持し、FedAvg+BN（45.96%）およびFedAvg+GN（82.66%）を上回る。
• FixBNは局所ステップ数（E）の増加に伴い精度が向上するのを示しており、GNとは異なり同じ条件下で性能が劣化しない。
• Fixup（70.66%）および重み正則化付きGN（66.90%）といった代替正則化手法よりも優れた性能を発揮し、その頑健性と有効性を示している。
• 追加の通信コストや学習コストなしに勾配のずれと統計的不一致の問題を解消できることから、実世界のFL展開において実用的である。