[論文レビュー] Federated Learning of Deep Networks using Model Averaging

H. Brendan McMahan, Eider Moore+2 more|arXiv (Cornell University)|Feb 17, 2016

Privacy-Preserving Technologies in Data参考文献 39被引用数 984

ひとこと要約

本論文は、中央集権的なデータ集約を避け、モバイルデバイスからのモデル更新を集約することで深層ニューラルネットワークを訓練する分散型アプローチ、フェデレーテッドラーニングを提案する。モデル平均化を用いることで、通信量を最小限に抑えながら高い精度を達成する。LSTM言語モデルの学習において、通信ラウンド数を100倍削減することに成功した。これは、非IID（非独立同分布）かつアンバランスなデータ分布下でも同様に有効である。

ABSTRACT

Modern mobile devices have access to a wealth of data suitable for learning models, which in turn can greatly improve the user experience on the device. For example, language models can improve speech recognition and text entry, and image models can automatically select good photos. However, this rich data is often privacy sensitive, large in quantity, or both, which may preclude logging to the data-center and training there using conventional approaches. We advocate an alternative that leaves the training data distributed on the mobile devices, and learns a shared model by aggregating locally-computed updates. We term this decentralized approach Federated Learning. We present a practical method for the federated learning of deep networks that proves robust to the unbalanced and non-IID data distributions that naturally arise. This method allows high-quality models to be trained in relatively few rounds of communication, the principal constraint for federated learning. The key insight is that despite the non-convex loss functions we optimize, parameter averaging over updates from multiple clients produces surprisingly good results, for example decreasing the communication needed to train an LSTM language model by two orders of magnitude.

研究の動機と目的

• プライバシーが重要なデータが分散している状況下で、モバイルデバイス上で高品質な深層学習モデルを訓練する課題に対処すること。
• モバイル環境におけるデータのプライバシー、ボリューム、伝送コストの制約により、中央集権的トレーニングが困難になる問題を克服すること。
• デバイス間で非IIDかつアンバランスなデータ分布が生じる状況下でも、効果を発揮し続ける実用的なフェデレーテッドトレーニング手法を開発すること。
• 実際の展開において深刻なボトル neck となる通信ラウンド数を最小限に抑えること。
• 非凸な最適化のランドスケープが存在する中でも、単純なモデル平均化が深層ネットワークにおいて優れた性能を示すことの実証

提案手法

• 個々のモバイルデバイス上で、プライベートなオンデバイスデータを用いて深層ニューラルネットワークをローカルに訓練する。
• 中央のパラメータサーバーで、ローカルに計算されたモデル更新をグローバルなモデル平均化により集約する。
• 各デバイスでローカル更新を実行する確率的勾配降下法（SGD）を用い、その後に定期的にモデル重みを平均化する。
• 通信ラウンドごとにデバイスのサブセットが参加するクライアントサンプリング戦略を採用し、オーバーヘッドを低減する。
• 非IIDおよびアンバランスなデータ分布を抱えるクライアント間で、モデル平均化のロバスト性を活用する。
• 通信効率を最適化するために、高いモデル精度に到達するまでの通信ラウンド数を最小限に抑える

実験結果

リサーチクエスチョン

• RQ1 プライバシーが重要なデータを扱う分散型フェデレーテッドラーニング環境において、モデル平均化は深層ニューラルネットワークの訓練に効果的か？
• RQ2 モバイルデバイスで一般的に見られる非IIDおよびアンバランスなデータ分布下でも、フェデレーテッドラーニングはどれほど高い性能を発揮するか？
• RQ3 モデル平均化を用いることで、フェデレーテッドラーニングにおける通信効率をどの程度向上できるか？
• RQ4 非凸な最適化とデータの異質性が存在する中でも、単純なパrameter平均化は中央集権的トレーニングと同等の性能を達成できるか？
• RQ5 従来のアプローチと比較して、フェデレーテッドラーニングは著しく少ない通信ラウンド数で高品質なモデルを達成できるか？

主な発見

• 非IIDおよびアンバランスなデータ分布下でも、ローカルに学習されたモデルの平均化により、深層ネットワークにおいて高い性能が達成される。
• フェデレーテッドラーニング手法により、LSTM言語モデルの学習に必要な通信ラウンド数が2桁削減された。
• 深層学習における損失関数の非凸性にもかかわらず、この手法はロバストで効果的である。
• 最小限のデータ転送で高品質なモデルを学習可能であり、リソース制限がありプライバシーが重視されるモバイル環境に適している。
• 中央サーバーにデータを送信する必要がないため、オンデバイス学習の実用的展開を可能にする