[論文レビュー] FedLite: A Scalable Approach for Federated Learning on Resource-constrained Clients

Jianyu Wang, Hang Qi+5 more|arXiv (Cornell University)|Jan 28, 2022

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

FedLiteは、新しい製品量子化に基づくクラスタリング方式と勾配補正技術を用いて、リソース制約のあるクライアント向けに通信効率の高いフェデレーテッドラーニングフレームワークを提案する。視覚および言語のベンチマークにおいて、最大490倍の通信削減を達成し、精度の低下は最小限に抑えられる。

ABSTRACT

In classical federated learning, the clients contribute to the overall training by communicating local updates for the underlying model on their private data to a coordinating server. However, updating and communicating the entire model becomes prohibitively expensive when resource-constrained clients collectively aim to train a large machine learning model. Split learning provides a natural solution in such a setting, where only a small part of the model is stored and trained on clients while the remaining large part of the model only stays at the servers. However, the model partitioning employed in split learning introduces a significant amount of communication cost. This paper addresses this issue by compressing the additional communication using a novel clustering scheme accompanied by a gradient correction method. Extensive empirical evaluations on image and text benchmarks show that the proposed method can achieve up to $490 imes$ communication cost reduction with minimal drop in accuracy, and enables a desirable performance vs. communication trade-off.

研究の動機と目的

• クライアントが完全なモデル更新を処理するのに十分なストレージおよび計算リソースを備えていない場合に、大規模な機械学習モデルをフェデレーテッドラーニングで訓練する課題に対処すること。
• 各トレーニングイテレーションで大きな活性化ベクトルをクライアントとサーバー間で転送するため、スプリットラーニングが引き起こす高い通信コストを克服すること。
• クライアント側のリソース使用量と通信オーバーヘッドを最小限に抑えることで、エッジデバイス上でスケーラブルかつプライバシーを保護するフェデレーテッドラーニングを可能にすること。
• 新しい勾配補正メカニズムにより、中間活性化の過酷な圧縮に対しても高いモデル精度を維持すること。

提案手法

• カットレイヤーにおけるクライアント側の活性化ベクトルを類似度に基づいてクラスタリングし、サーバーに送信するのはクラスターセンターベクトルのみである、クラスタリングに基づく活性化圧縮手法を提案する。
• サブベクトルをグループ化することで高い圧縮比を達成しながらも、表現の忠実度を維持する、変更を加えた製品量子化器を導入する。
• 量子化によって生じるノイズを補正するための勾配補正技術を導入し、モデルの収束性を向上させる。
• 量子化レイヤーをスプリットラーニングパイプラインにスムーズに統合し、標準的なスプリットラーニングと同等のプライバシー保証を維持する。
• 勾配補正の強度を制御するハイパーパrameter λ を使用し、圧縮と精度のバランスを最適化する。
• 圧縮比とモデル性能のトレードオフを調査するために、クラスタ数 L とサブベクトル数 q を固定する。

実験結果

リサーチクエスチョン

• RQ1 クラスタリングおよび量子化による活性化圧縮は、スプリットラーニングにおける通信コストを著しく削減できるか、かつモデル精度が劣化しないか？
• RQ2 提案された勾配補正メカニズムは、量子化ノイズによって引き起こされる性能劣化をどのように緩和するか？
• RQ3 提案されたフレームワークにおいて、通信削減とモデル収束速度の最適なトレードオフは何か？
• RQ4 提案された量子化方式は、標準的な製品量子化や他の圧縮技術と比較して、圧縮比と精度の面でどの程度優れているか？

主な発見

• FEMNISTデータセットでは、FedLiteが最大490倍の通信削減を達成し、精度低下は5%未満に抑えられ、スプリットラーニングに起因する追加通信の削減効率が顕著に示された。
• SO Tagデータセットでは、247倍の圧縮が達成され、精度の低下は最小限であり、Recall@5の向上も観察された。これはドロップアウトに類似した正則化効果を示唆している。
• 勾配補正技術は不可欠である。補正なしでは、高圧縮比でモデルが発散するが、わずかな λ 値（10−5 から 10−3）でも性能が著しく向上する。
• サブベクトルのグループ化（R < q）を施した提案された量子化器は、バニラ製品量子化と比較して、精度損失をほとんど認めないまま、10倍の高い圧縮比を達成した。
• FedAvgと比較して、FedLiteはアップリンク通信コストを62倍削減し、クライアント側のトレーニング可能なパラメータ数を64倍削減しながら、同等またはより高い精度を達成した。
• 収束解析から、通信削減と収束速度の明確なトレードオフが明らかになった。これは、安定した学習を実現するための勾配補正の必要性を説明している。