[論文レビュー] Expanding the Reach of Federated Learning by Reducing Client Resource Requirements

Sebastian Caldas, Jakub Konečny+2 more|arXiv (Cornell University)|Dec 18, 2018

Privacy-Preserving Technologies in Data被引用数 210

ひとこと要約

論文は、Federated Learningにおけるサーバーからクライアントへの通信を削減する2つの戦略を導入する。Kashinの表現を用いたロスィーなサーバー-to-clientモデル圧縮とFederated Dropout。これらを既存のクライアント-to-サーバー圧縮と組み合わせると、サーバー-to-clientで最大14×、クライアント-to-serverで28×、ローカル計算で1.7×の削減を達成し、最終モデルの精度を劣化させず、収束はラウンド数の遅さを伴うコストがある。

ABSTRACT

Communication on heterogeneous edge networks is a fundamental bottleneck in Federated Learning (FL), restricting both model capacity and user participation. To address this issue, we introduce two novel strategies to reduce communication costs: (1) the use of lossy compression on the global model sent server-to-client; and (2) Federated Dropout, which allows users to efficiently train locally on smaller subsets of the global model and also provides a reduction in both client-to-server communication and local computation. We empirically show that these strategies, combined with existing compression approaches for client-to-server communication, collectively provide up to a $14\ imes$ reduction in server-to-client communication, a $1.7\ imes$ reduction in local computation, and a $28\ imes$ reduction in upload communication, all without degrading the quality of the final model. We thus comprehensively reduce FL's impact on client device resources, allowing higher capacity models to be trained, and a more diverse set of users to be reached.

研究の動機と目的

• 異種のエッジネットワーク上での通信ボトルネックを削減する動機付け。
• クライアントのリソース要求を低減して高容量モデルの訓練を可能にする。
• 帯域幅と計算量を削減しつつモデル品質を保つ方法を開発・評価。
• 新しい戦略が既存のクライアント-to-サーバー圧縮技術と互換性があることを示す。

提案手法

• クライアントがダウンロードするグローバルモデルに対して、基底変換、サブサンプリング、確率的量子化を用いたロスィー圧縮を提案し、Kashin表現を用いて量子化誤差を低減する。
• Federated Dropoutを導入し、クライアントが小さなサブモデルで学習し、サブモデル更新のみを伝送し、サーバー側で全グローバルモデルに対応づける。
• サーバーtoクライアント圧縮と既存のクライアント-to-サーバー圧縮スキームを組み合わせ、エンドツーエンドの帯域と計算の節約を評価。
• 基底変換（恒等、ランダムHadamard、Kashin’s）、サブサンプリング率、量子ビット数のパラメータ選択を経験的に分析。
• 固定ハイパーパラメータと標準的な学習設定を用いたFedAvgでMNIST、CIFAR-10、EMNISTを評価。

実験結果

リサーチクエスチョン

• RQ1 Federated Learningで学習する際、最終モデルの性能を劣化させずにサーバー-to-client通信はどれくらい削減できるか？
• RQ2 Federated Dropoutは局所計算とクライアント-to-サーバー通信を意味的に削減し、精度を維持できるか？
• RQ3 Kashin’s表現とHadamard変換はサーバー-to-client設定のロスィー圧縮に対してどう比較されるか？
• RQ4 ロスィーなサーバー-to-client圧縮とFederated Dropoutは既存のクライアント-to-サーバー圧縮技術と互換性があるか？

主な発見

• サーバー-to-clientのモデル通信を最大14×まで削減しつつ精度を保てる。
• Federated Dropoutは通信と局所計算を最大で1.7×、場合によってはFully Connected層で43%削減。
• 提案手法と既存のクライアント-to-サーバー圧縮を組み合わせると、特定の構成で最大28×のクライアント-to-serverと28×のサーバー-to-client削減を達成。
• Federated Dropout率0.75で、中程度および控えめな圧縮 schemes で精度を維持し、帯域幅の大幅な節約を達成。
• エンドツーエンドのフレームワークは通信ラウンドの収束速度がわずかに遅くなるが、最終モデルの品質を劣化させない。
• 実用的なパラメータ設定（例：Dropout約0.75と中等/控えめな圧縮でKashin’s）を現実のFL展開に適用可能と示唆。