[論文レビュー] FEDZIP: A Compression Framework for Communication-Efficient Federated Learning

Amirhossein Malekijoo, Mohammad Javad Fadaeieslam+4 more|arXiv (Cornell University)|Feb 2, 2021

Privacy-Preserving Technologies in Data参考文献 48被引用数 24

ひとこと要約

FedZip は、通信効率の高い联邦学習のための新規圧縮フレームワークであり、Top-z スパarsification、k-means クラスタリングに基づく量子化、および3つの高度な符号化手法（ヒューファン符号化および差分ベース符号化を含む）を組み合わせることで、モデル更新のサイズを削減する。最大1085倍の圧縮を達成し、精度の低下が1%未満に抑えられ、通信オーバーヘッドを99%削減する。これにより、モバイルデバイスにおけるエネルギー効率と帯域幅の使用が顕著に向上する。

ABSTRACT

Federated Learning marks a turning point in the implementation of decentralized machine learning (especially deep learning) for wireless devices by protecting users' privacy and safeguarding raw data from third-party access. It assigns the learning process independently to each client. First, clients locally train a machine learning model based on local data. Next, clients transfer local updates of model weights and biases (training data) to a server. Then, the server aggregates updates (received from clients) to create a global learning model. However, the continuous transfer between clients and the server increases communication costs and is inefficient from a resource utilization perspective due to the large number of parameters (weights and biases) used by deep learning models. The cost of communication becomes a greater concern when the number of contributing clients and communication rounds increases. In this work, we propose a novel framework, FedZip, that significantly decreases the size of updates while transferring weights from the deep learning model between clients and their servers. FedZip implements Top-z sparsification, uses quantization with clustering, and implements compression with three different encoding methods. FedZip outperforms state-of-the-art compression frameworks and reaches compression rates up to 1085x, and preserves up to 99% of bandwidth and 99% of energy for clients during communication.

研究の動機と目的

• クライアントとサーバー間での大規模なモデルパラメータの送信に起因する、連邦学習における高い通信コストとエネルギー消費を低減すること。
• モデルの精度や収束速度を著しく低下させることなく、モバイルおよびウェアラブルデバイスにおける帯域幅とエネルギー使用量を削減すること。
• スパarsification、量子化、およびスケーラブルな符号化を統合した圧縮パイプラインを設計し、効率的なクライアント-サーバー間通信を実現すること。
• 圧縮比とモデル性能の保持の両面で、最先端の圧縮フレームワークを上回ること。
• 実際のモバイルハードウェア上でリアルな環境条​​件の下でフレームワークを評価し、実用的な効率向上を示すこと。

提案手法

• 送信パラメータ数を削減するために、最も重要な重み更新のみを保持する Top-z スパarsification を適用する。
• 重み値をグループ化し、量子化を適用するための k-means クラスタリングを用い、圧縮中の精度損失を最小限に抑える。
• 3つの符号化戦略を採用する：標準的なヒューファン符号化、頻度が低いクラスタ用のアドレステーブル符号化、およびアドレス位置用の差分ベース符号化により、ストレージおよび送信の最適化を図る。
• 圧縮パイプラインを連合平均（FedAvg）フレームワークに統合し、生のモデル更新を圧縮表現に置き換える。
• 連合学習の反復的性質を活用し、複数の学習ラウンドにわたり圧縮更新を再利用することで、効率向上の恩恵を拡大する。
• 実際のスマートフォン（Xiaomi Mi A2）上で VGG16 および CNN モデルを用い、リアルなネットワーク環境下で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 スパarsification、量子化、およびマルチメソッド符号化を組み合わせたパイプラインが、既存のフレームワークよりも高い圧縮比を達成できるか？
• RQ2 提案された圧縮フレームワークは、ベースラインの FedAvg や FedSGD と比較して、モデルの精度や収束速度にどの程度の影響を与えるか？
• RQ3 バッテリー消費量と応答時間の観点から、実際のモバイル環境におけるフレームワークの性能はいかがなものか？
• RQ4 どの符号化手法が、さまざまなモデルサイズにおいて圧縮比とスケーラビリティの最良のトレードオフを実現するか？
• RQ5 顕著な性能低下を伴わずに、複数の通信ラウンドにわたり高い効率を維持できるか？

主な発見

• FedZip は、複数のトレーニングラウンド（E=10）と符号化を組み合わせた際、最大1085倍の圧縮比を達成し、最先端の手法を大きく上回る。
• 通信オーバーヘッドは約99%削減され、モバイルデバイスにおける顕著なエネルギー節約とバッテリー効率の向上が実現された。
• 差分ベース符号化は平均127倍、ピーク194倍の圧縮比を達成し、ヒューファン符号化およびアドレステーブル符号化を上回るスケーラビリティと効率性を示した。
• クライアントごとに5–10%の計算オーバーヘッドが追加されても、送信時間の短縮により、全体としてのパフォーマンスが向上し、応答時間が速くなった。
• Xiaomi Mi A2 スマartフォンを用いた実験結果から、FedZip は FedAvg や FedSGD よりもバッテリー消費量と応答時間をより効果的に削減しており、特にモデルサイズと通信負荷が増加する際の恩恵が顕著に現れた。
• 高い圧縮率下でも、モデル精度の低下が1%未満に抑えられ、高い耐障害性を示した。