[論文レビュー] Federated Multi-Mini-Batch: An Efficient Training Approach to Federated Learning in Non-IID Environments

Reza Nasirigerdeh, M. Bakhtiari+5 more|arXiv (Cornell University)|Nov 13, 2020

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

本稿では、バッチサイズとバッチ数を分離することで、ローカル更新とミニバッチサイズを独立して制御できる、フェデレーテッド・マルチ・ミニバッチ（FedMMB）という新しいフェデレーテッドラーニング手法を提案する。FedMMBは、最適化されたローカルトレーニングにより、より効果的なモデル収束を可能にすることで、Non-IID環境下でFedAvgよりも高い精度を達成するが、通信効率を維持する。

ABSTRACT

Federated learning has faced performance and network communication challenges, especially in the environments where the data is not independent and identically distributed (IID) across the clients. To address the former challenge, we introduce the federated-centralized concordance property and show that the federated single-mini-batch training approach can achieve comparable performance as the corresponding centralized training in the Non-IID environments. To deal with the latter, we present the federated multi-mini-batch approach and illustrate that it can establish a trade-off between the performance and communication efficiency and outperforms federated averaging in the Non-IID settings.

研究の動機と目的

• データの分布が極めて偏っているNon-IID環境下で、フェデレーテッドラーニングの性能が低下する問題に対処すること。
• バッチサイズとローカル更新回数が固定で結合されているため、Non-IID環境下で収束性と性能が著しく劣化するFedAvgの限界を克服すること。
• フェデレーテッド・センタークライズド・コンコードアンス特性を導入し、特定の条件下でフェデレーテッドモデルがセンタークライズドモデルと同等の性能を達成することを保証すること。
• フェデレーテッドラーニングにおけるモデル性能と通信効率の間で調整可能な柔軟なトレーニングフレームワークを構築すること。

提案手法

• フェデレーテッド・センタークライズド・コンコードアンス特性を提唱し、特定の条件下でフェデレーテッドモデルがセンタークライズドモデルと同等の性能を達成することを保証する。
• Non-IID環境下でセンタークライズドトレーニングと一致する性能を達成できるベースライン手法として、フェデレーテッド・シングル・ミニバッチ（FedSMB）を導入する。
• FedSMBの一般化として、バッチサイズとローカル更新回数（バッチ数）を独立して指定できるフェデレーテッド・マルチ・ミニバッチ（FedMMB）を設計する。
• FedAvgとは異なり、通信ラウンドごとに固定バッチサイズで複数回のローカル更新を実行できるように、学習プロセスを分離する。
• サーバーで重み付きアグリゲーション戦略を用いてクライアントモデルを統合するが、制御されたローカル最適化のおかげで収束性が向上している。
• 畳み込みニューラルネットワーク（4CFNN、VGG16）と実世界のデータセット（CIFAR-10、HAM10000）の両方を用いて、多様な環境下での性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニング手法は、Non-IIDデータ環境下でもセンタークライズドトレーニングと同等の性能を達成できるか？
• RQ2 バッチサイズとローカル更新回数を分離することで、Non-IID環境下でのモデル収束性と精度にどのような影響を与えるか？
• RQ3 データがクライアント間で非IIDである場合、FedMMBはFedAvgよりも精度と通信効率の両面で優れているか？
• RQ4 クライアントごとのローカル更新回数を制御することで、ラベルの不均衡が生じるフェデレーテッドラーニングにおけるモデル性能はどの程度向上するか？
• RQ5 FedMMBは、異なるモデルアーキテクチャと現実的で不均衡なデータセットにおいても高い性能を維持できるか？

主な発見

• CIFAR-10で4CFNNを用いたNon-IID-2設定下で、FedMMBは最大0.6906のテスト精度を達成したのに対し、同じ条件下でFedAvgは0.6564にとどまった。
• FedAvgでバッチサイズを大きく（B=500）してローカル更新回数を20に減らした場合でも、精度は0.6654にとどまり、FedMMB（B=10、C=20）の性能に比べて顕著に劣る。
• VGG16を用いたHAM10000データセットでは、Non-IID環境下でFedMMBがAUC 0.7431を達成したのに対し、FedAvgは0.6931にとどまり、不均衡で現実的なデータに対して優れた性能を示した。
• FedMMBの性能向上は、バッチサイズとローカル更新回数を分離することで、通信ラウンド数を増やさずにより効果的な最適化が可能になったことに起因する。
• 単一ミニバッチバージョンのFedSMBは、Non-IID環境下でもセンタークライズドトレーニングと一致する性能が達成可能であることを示しており、本手法の理論的基盤を検証した。
• バッチ数（C）を調整することで、性能と通信効率の間で調整可能なトレードオフを提供するため、リソース制限のある環境に適応可能である。