[論文レビュー] Communication-Efficient Learning of Deep Networks from Decentralized Data

H. Brendan McMahan, Eider Moore+3 more|arXiv (Cornell University)|Feb 17, 2016

Privacy-Preserving Technologies in Data被引用数 5,595

ひとこと要約

Federated Averaging (FedAvg) を導入。分散モバイル端末データを局所計算とサーバー側モデル平均化で深層ネットワークを訓練する実用的手法。非 IID で不均衡データを扱いながら通信ラウンドを大幅に削減。

ABSTRACT

Modern mobile devices have access to a wealth of data suitable for learning models, which in turn can greatly improve the user experience on the device. For example, language models can improve speech recognition and text entry, and image models can automatically select good photos. However, this rich data is often privacy sensitive, large in quantity, or both, which may preclude logging to the data center and training there using conventional approaches. We advocate an alternative that leaves the training data distributed on the mobile devices, and learns a shared model by aggregating locally-computed updates. We term this decentralized approach Federated Learning. We present a practical method for the federated learning of deep networks based on iterative model averaging, and conduct an extensive empirical evaluation, considering five different model architectures and four datasets. These experiments demonstrate the approach is robust to the unbalanced and non-IID data distributions that are a defining characteristic of this setting. Communication costs are the principal constraint, and we show a reduction in required communication rounds by 10-100x as compared to synchronized stochastic gradient descent.

研究の動機と目的

• プライバシーを保護し中央データ収集を減らすため、データをモバイル端末に保持したまま深層ネットワークを訓練する研究を動機づける。
• 実用的なフェデレーテッド最適化手法として FederatedAveraging (FedAvg) アルゴリズムを定義・正当化する。
• 非 IID および不均衡データ分布の下で、複数のモデルアーキテクチャとデータセットにわたって FedAvg を経験的に評価する。
• FedAvg が標準的な同期SGD と比較して通信ラウンドを桁違いに削減しつつ、精度を維持または改善することを示す。

提案手法

• クライアント上の局所 SGD 更新をサーバー側の加重モデル平均化ステップと組み合わせることで FederatedAveraging (FedAvg) を提案する。
• FedAvg を3つのパラメータ C（ラウンドあたり参加するクライアントの割合）、E（ラウンドあたりの局所エポック数）、B（局所ミニバッチサイズ）で特徴づける。
• FedAvg が FedSGD を超えて、各ラウンドで複数の局所更新（E>1）と小さな局所ミニバッチ（B<∞）を許すことで一般化する。
• 固定クライアント集合とラウンドごとのランダムなクライアント選択を用いた同期的なラウンドベースのフェデレーテッド最適化を分析する。
• データ局所性を尊重し通信負荷を低減する、単純でスケーラブルな更新を利用する。
• 実用的な実装を可能にするため、ClientUpdate と FederatedAveraging の疑似コードを提供する。

実験結果

リサーチクエスチョン

• RQ1 大量のクライアントにわたってデータがユーザー機器上に留まる状態で、深層ネットワークを効果的に訓練するにはどうすればよいか？
• RQ2 ローカル計算とモデル平均化（FedAvg）は、集中型または完全同期SGDよりもはるかに少ない通信ラウンドで同等の精度を達成できるのか？
• RQ3 クライアント間の非 IID および不均衡なデータ分布は、FedAvg の収束と最終モデル性能にどのように影響するか？
• RQ4 クライアント参加率（C）、局所計算（E, B）と全体の通信効率の間のトレードオフは何か？

主な発見

• FedAvg は FedSGD と比較して通信ラウンドを大幅に削減しつつ、MNIST、CIFAR-10、Shakespeare LSTM タスクで精度を維持または向上させる。
• クライアントごとの局所計算を増やす（大きな E または小さな B）は通信ラウンドの大幅な削減をもたらし、データが IID または適度に非 IID の場合に最大の効果が得られる。
• FedAvg モデルはラウンド数でより早く収束し、平均化時には局所訓練モデルを上回ることさえあり、ドロップアウトに類似した正則化効果を示唆する。
• この手法は、500kを超えるクライアントを含む大規模な言語モデリングタスクを含め、非常に非 IID かつ不均衡なデータ分割にも頑健である。
• CIFAR-10 実験では、FedAvg は SGD ベースラインよりはるかに少ないラウンドで目標精度を達成（特定の目標に対して 64.3 倍および 49.2 倍のスピードアップの例）。）