[論文レビュー] Sparse Random Networks for Communication-Efficient Federated Learning

Berivan Isik, Francesco Pase+3 more|arXiv (Cornell University)|Sep 30, 2022

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

本稿では、通信効率の高いフェデレーテッドラーニングフレームワークであるFedPMを提案する。FedPMは、ランダムに初期化された密なニューラルネットワークをスパース化するための確率的バイナリマスクを学習することで、モデル重みの送信を不要にする。共同でマスクを学習することで最適なサブネットワークを獲得し、FedPMは1 bpp未満の通信コストを達成し、収束が速く、精度が高く、モデル圧縮も可能となる。MNIST、EMNIST、CIFAR-10、CIFAR-100において、低ビットレート環境下でベースラインを上回る性能を発揮する。

ABSTRACT

One main challenge in federated learning is the large communication cost of exchanging weight updates from clients to the server at each round. While prior work has made great progress in compressing the weight updates through gradient compression methods, we propose a radically different approach that does not update the weights at all. Instead, our method freezes the weights at their initial \emph{random} values and learns how to sparsify the random network for the best performance. To this end, the clients collaborate in training a \emph{stochastic} binary mask to find the optimal sparse random network within the original one. At the end of the training, the final model is a sparse network with random weights -- or a subnetwork inside the dense random network. We show improvements in accuracy, communication (less than $1$ bit per parameter (bpp)), convergence speed, and final model size (less than $1$ bpp) over relevant baselines on MNIST, EMNIST, CIFAR-10, and CIFAR-100 datasets, in the low bitrate regime under various system configurations.

研究の動機と目的

• フェデレーテッドラーニングにおける高い通信コスト、特に低ビットレートおよび非IIDデータ環境下での課題に対処すること。
• 初期のランダム重みを凍結し、モデル重みの送信を完全に不要にするために、単にスパースなバイナリマスクのみを学習すること。
• 通信オーバーヘッドを1パラメータあたり1ビット未満に削減しながら、収束速度と最終的なモデル精度を向上させること。
• スパースで低ビットレートのサブネットワークを通じて、モデル圧縮および潜在的なプライバシー上の利点を実現すること。
• 部分的なクライアント参加とデータの非均質性に対応できる、強固な確率的集約戦略の開発

提案手法

• クライアントは、ネットワーク重みを更新せずに、ランダムに初期化された密なニューラルネットワーク上での確率的バイナリマスクを共同で訓練する。
• マスクはベイジアン確率的フレームワークとベータ事前分布を用いて訓練され、複数ラウンドにわたる不確実性を考慮した集約が可能になる。
• グローバルマスクパラメータは、微分可能で確率的なサンプリングプロセスにより更新され、バイナリマスクの存在下でも勾配の流れを維持する。
• 固定されたランダムネットワークにマスクを適用してスパースサブネットワークを形成し、各ラウンドでその性能を評価する。
• リセット頻度のハイパーパrameterが、事前分布のリフレッシュ頻度を制御し、安定性と新しいクライアント更新への対応性のバランスを取る。
• 送信する情報としてマスクとその確率的パラメータのみを送信することで、通信コストを1パラメータあたり1ビット未満（bpp）に削減する。

実験結果

リサーチクエスチョン

• RQ1 重みの更新なしに、ランダムに初期化された密なネットワーク内でサブネットワークを学習できるか、通信コストを著しく削減できるか？
• RQ2 確率的・ステオキアスティックなマスク学習戦略は、決定論的またはハードスレッショルド処理の方法と比較して、精度と収束性においてどのように異なるか？
• RQ3 適応的で事前分布のリセットを伴うベイジアン集約戦略は、非IIDデータおよび部分的なクライアント参加下でも性能を向上させられるか？
• RQ4 提案手法は、通信ビットレートをどの程度削減できるか、同時にモデル精度を維持または向上させられるか？
• RQ5 最終的なモデルは、1 bpp未満のサイズであり、かつ低ビットレートフェデレーテッドラーニングにおいてベースラインを上回る精度を持つことができるか？

主な発見

• FedPMは1パラメータあたり1 bpp未満の通信コストを達成し、帯域幅要件を顕著に削減した。
• MNIST、EMNIST、CIFAR-10、CIFAR-100において、FedMaskなどのベースラインと比較して収束が速く、より高いテスト精度に到達した。
• 部分的なクライアント参加と非IIDデータ環境下でも、FedPMは決定論的ベースラインを上回った。特にデータの非均質性が高い場合（例：c_max = 4）に顕著な優位性を示した。
• 適応的で事前分布のリセットを行うベイジアン集約戦略（γ ≈ 1/ρ）は、固定または過剰に頻繁なリセットよりも収束性と精度が優れていた。
• 最終的なモデルは1 bpp未満のスパースサブネットワークであり、モデル圧縮と潜在的なプライバシー上の利点を実現した。
• アブレーションスタディの結果、確率的マスク学習アプローチが不可欠であることが確認され、決定論的または非確率的バージョンでは収束しないか、性能が著しく劣ることがわかった。