[論文レビュー] Expanding the Reach of Federated Learning by Reducing Client Resource Requirements

Sebastian Caldas, Jakub Konečný+2 more|arXiv (Cornell University)|Dec 18, 2018

Privacy-Preserving Technologies in Data参考文献 24被引用数 158

ひとこと要約

論文は Federated Learning のサーバーからクライアントへの通信を削減する2つの手法を提案する: Kashinベースの損失圧縮モデルと Federated Dropout、精度低下なしでサーバー-to-クライアント通信を最大14x、クライアント-to-サーバー通信を最大28x削減。

ABSTRACT

Communication on heterogeneous edge networks is a fundamental bottleneck in Federated Learning (FL), restricting both model capacity and user participation. To address this issue, we introduce two novel strategies to reduce communication costs: (1) the use of lossy compression on the global model sent server-to-client; and (2) Federated Dropout, which allows users to efficiently train locally on smaller subsets of the global model and also provides a reduction in both client-to-server communication and local computation. We empirically show that these strategies, combined with existing compression approaches for client-to-server communication, collectively provide up to a $14 imes$ reduction in server-to-client communication, a $1.7 imes$ reduction in local computation, and a $28 imes$ reduction in upload communication, all without degrading the quality of the final model. We thus comprehensively reduce FL's impact on client device resources, allowing higher capacity models to be trained, and a more diverse set of users to be reached.

研究の動機と目的

• ヘテロジニアス edge ネットワーク上の Federated Learning における通信ボトルネックの削減を動機づける。
• サーバー-to-クライアントとローカル計算コストを削減する2つの戦略を導入し、最終モデルの精度を損なわない。

提案手法

• サーバー-to-クライアントのモデルダウンロードを圧縮するための基底変換と量子化パイプライン（Kashinの表現）を適用。
• Federated Dropoutを使用してクライアント上にサブモデルを訓練し、交換されるモデルサイズとローカル計算を削減。
• 既存のクライアント-to-サーバー圧縮方法と組み合わせた場合の互換性と追加効果をデモンストレート。
• エンド・ツー・エンドのワークフローを提供し、デ decompress、ローカルトレーニング、サーバーでの統合を示す。

実験結果

リサーチクエスチョン

• RQ1 サーバー-to-クライアントのモデルダウンロードを損失圧縮しても、クライアントデバイスでデ decompress した場合に精度を維持できるか？
• RQ2 Federated Dropout は通信とローカル計算を削減しつつ、最終的なモデル性能を劣化させずに済むか？
• RQ3 Kashin’s 表現とサブサンプリングは FL における既存のクライアント-to-サーバー圧縮とどのように相互作用するか？
• RQ4 これらの戦略を組み合わせたとき、エンドツーエンドの通信と計算の節約はどの程度可能か？
• RQ5 ヘテロジニアスな FL 設定での実用的なパラメータ設定（ドロップアウト率、量子化レベル）に関する指針は何か？

主な発見

Scheme	Client-to-Server (transf.)	s (Client-to-Server)	q (Client-to-Server)	Server-to-Client (transf.)	s (Server-to-Client)	q (Server-to-Client)
アグレッシブ	Kashin’s	0.4	2	Kashin’s	1.0	3
適度	Kashin’s	0.5	4	Kashin’s	1.0	5
保守的	Kashin’s	1.0	8	Kashin’s	1.0	8

• Kashin’s 表現を用いた損失圧縮はモデルを4ビットまで量子化でき、精度を維持しつつ大幅な通信削減を実現。
• Federated Dropout は約0.75のドロップアウト率で最終精度を一致させるか向上させつつ、通信とローカル計算の両方を削減。
• 既存のクライアント-to-サーバー圧縮と組み合わせると、サーバー-to-クライアントで最大14x、クライアント-to-サーバーで最大28x、ローカル計算で最大1.7xの削減を、精度低下なしで複数のデータセットで実現。
• CIFAR-10 ではサーバー-to-クライアントの削減が約10x、ローカル計算が約1.3xになる場合がある（Federated Dropout と圧縮を組み合わせた場合）。
• この組み合わせは収束速度をわずかに遅くするが、試験済みのベンチマーク（MNIST、CIFAR-10、EMNIST）全体で最終モデルの品質を保持。