[論文レビュー] Federated Learning: Strategies for Improving Communication Efficiency

Jakub Konečný, H. Brendan McMahan+4 more|arXiv (Cornell University)|Oct 18, 2016

Privacy-Preserving Technologies in Data参考文献 15被引用数 3,046

ひとこと要約

論文は、連邦学習の通信効率更新の2つのファミリーを提案する：構造化更新（低ランクまたはランダムマスク）とスケッチ更新（サブサンプリング、量子化、ランダム回転による圧縮）、CIFAR-10とRedditデータの実験でアップリンク帯域幅を最大100x–1000x削減、収束の損失は最小限。

ABSTRACT

Federated Learning is a machine learning setting where the goal is to train a high-quality centralized model while training data remains distributed over a large number of clients each with unreliable and relatively slow network connections. We consider learning algorithms for this setting where on each round, each client independently computes an update to the current model based on its local data, and communicates this update to a central server, where the client-side updates are aggregated to compute a new global model. The typical clients in this setting are mobile phones, and communication efficiency is of the utmost importance. In this paper, we propose two ways to reduce the uplink communication costs: structured updates, where we directly learn an update from a restricted space parametrized using a smaller number of variables, e.g. either low-rank or a random mask; and sketched updates, where we learn a full model update and then compress it using a combination of quantization, random rotations, and subsampling before sending it to the server. Experiments on both convolutional and recurrent networks show that the proposed methods can reduce the communication cost by two orders of magnitude.

研究の動機と目的

• 多数のデバイスと限られたアップリンク帯域を持つ環境での連邦学習を動機づける。
• モデル品質を犠牲にせずアップリンクデータを減らす方法を開発する。
• 深層ネットワークとシーケンスモデル上で構造化更新とスケッチ更新を評価し、通信節約と収束への影響を定量化する。

提案手法

• 構造化更新はクライアント更新をより小さなパラメータ空間に制限する（例：低ランクまたはランダムマスク）。
• 低ランク更新は更新 H_t を A_t B_t に因子分解し、A はランダム、B は学習される；通信を B の送信で削減（A のシードは保持）。
• ランダムマスク更新はパラメータをゼロにするために sparsity のランダム生成パターンを使用し、非ゼロのみを送信。
• スケッチ更新はデバイス上で完全な更新を計算し、サブサンプリング、確率的量子化、オプションのランダム回転で圧縮。
• ランダム回転（Walsh-Hadamard ベース）は量子化に先行して誤差を減らし圧縮効果を向上させる。
• これらの手法は組み合わせ可能（例：構造化更新の後にスケッチを適用） though not explored together in this work

実験結果

リサーチクエスチョン

• RQ1 構造化更新（低ランク、ランダムマスク）は連邦学習における収束と通信コストにどう影響するか？
• RQ2 スケッチ更新（サブサンプリング、量子化、回転）はアップリンク帯域幅の削減と精度の維持にどれくらい有効か？
• RQ3 構造化ランダム回転による前処理は量子化/スケッチ更新の性能を改善するか？
• RQ4 通信削減とモデル性能のトレードオフは CIFAR-10 と Reddit の次語予測タスクでどうなるか？

主な発見

• ランダムマスク更新は低ランク更新よりも更新サイズを削減しつつ収束への影響を大きく抑えずに済む。
• スケッチ更新はサブサンプリング、量子化、回転を組み合わせると通信削減を大幅に達成できる；顕著な例として、通信ビット数を最大256x削減しつつ収束への影響は小さい。
• 構造化ランダム回転を量子化前に使用するとロバスト性と精度が向上する、特に低ビット量子化で。
• 全畳み込みネットワークを用いる CIFAR-10 では、これらの技術の組み合わせにより元の精度に近い状態でデータ伝送を大幅に減らして達成。
• Reddit データでは、スケッチ更新により 1.35M パラメータの LSTM の訓練が可能となり、ラウンド毎の通信削減を実現し、ユーザ分割の現実的な連邦設定での実用性を示した。
• 十分なクライアントが1 ラウンドあたりいると、更新のサブサンプリングを強くしても（例えば要素の 1%）なお競争力のある精度を維持できる。