[論文レビュー] EvoFed: Leveraging Evolutionary Strategies for Communication-Efficient Federated Learning

Mohammad Mahdi Rahimi, Hasnain Irshad Bhatti+3 more|arXiv (Cornell University)|Nov 13, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

EvoFed は、従来のモデルパラメータ伝送の代わりに進化的戦略から導出されたフィットネスに基づく類似度測定を用いる通信効率の高いフェデレーテッドラーニングフレームワークを提案する。局所的に更新されたモデルとノイズ摂動を加えたパopulation間の距離に基づくフィットネス値のみを送信することで、FMNISTでは98.8%以上の圧縮率、CIFAR-10では99.7%を達成し、通信コストを著しく削減しながら FedAvg と同等の精度を維持し、収束性を保つ。

ABSTRACT

Federated Learning (FL) is a decentralized machine learning paradigm that enables collaborative model training across dispersed nodes without having to force individual nodes to share data. However, its broad adoption is hindered by the high communication costs of transmitting a large number of model parameters. This paper presents EvoFed, a novel approach that integrates Evolutionary Strategies (ES) with FL to address these challenges. EvoFed employs a concept of 'fitness-based information sharing', deviating significantly from the conventional model-based FL. Rather than exchanging the actual updated model parameters, each node transmits a distance-based similarity measure between the locally updated model and each member of the noise-perturbed model population. Each node, as well as the server, generates an identical population set of perturbed models in a completely synchronized fashion using the same random seeds. With properly chosen noise variance and population size, perturbed models can be combined to closely reflect the actual model updated using the local dataset, allowing the transmitted similarity measures (or fitness values) to carry nearly the complete information about the model parameters. As the population size is typically much smaller than the number of model parameters, the savings in communication load is large. The server aggregates these fitness values and is able to update the global model. This global fitness vector is then disseminated back to the nodes, each of which applies the same update to be synchronized to the global model. Our analysis shows that EvoFed converges, and our experimental results validate that at the cost of increased local processing loads, EvoFed achieves performance comparable to FedAvg while reducing overall communication requirements drastically in various practical settings.

研究の動機と目的

• 頻繁な大規模モデルパラメータ伝送によって引き起こされるフェデレーテッドラーニングにおける高い通信オーバーヘッドを低減すること。
• 通信効率に制限がある勾配ベースの手法を補完するために、進化的戦略を活用すること。
• クライアントとサーバー間のデータ伝送を最小限に抑える一方で、モデル精度を維持する分散型トレーニングフレームワークを構築すること。
• クライアントの更新において勾配計算やバックプロパゲーションに依存せずに通信効率の高い FL を実現すること。
• 集団ベースの勾配符号化を用いて、モデル更新をコンパクトなフィットネスベクトルに符号化することで、高い圧縮率を達成すること。

提案手法

• 各クライアントが局所的に更新されたモデルとノイズ摂動を加えたパopulation間の類似度としてフィットネス値を計算する、集団ベースの勾配符号化（PBGE）を導入する。
• クライアントとサーバー間で同期されたランダムシードを用いて、同一の摂動を加えたモデルパopulationを生成し、フィットネス計算の一貫性を確保する。
• 完全なモデルパラメータの代わりに、局所モデルと摂動パopulation間のフィットネス値（距離）のみを送信する。
• サーバーでフィットネスベクトルを集約し、クライアントにグローバルフィットネスベクトルを再配布して、同期的なモデル更新を実現する。
• 小さな摂動パopulationが全勾配方向を近似できることを活用し、最小限の情報損失で高い圧縮を実現する。
• グローバルフィットネスベクトルを用いて FedAvg スタイルの集約を適用し、グローバルモデルの更新を保証することで収束性とクライアント間の整合性を確保する。

実験結果

リサーチクエスチョン

• RQ1 進化的戦略をフェデレーテッドラーニングに効果的に適応させることで、モデル精度を損なわず通信コストを削減できるか？
• RQ2 PBGE を用いたフィットネスベースの情報共有が、勾配ベースのモデル更新をどれほど代替可能か、収束性とパフォーマンスを維持できるか？
• RQ3 パopulationサイズとノイズ分散の選択が、EvoFed における通信効率とモデル精度に与える影響はどの程度か？
• RQ4 標準的な FedAvg と比較して、EvoFed における通信の節約と局所計算の増加のトレードオフはどのようなものか？
• RQ5 MNIST、FMNIST、CIFAR-10 といった多様なデータセットにおいて、EvoFed は著しく低い通信負荷で FedAvg と同等またはそれ以上のパフォーマンスを達成できるか？

主な発見

• FMNIST データセットでは、EvoFed は通信量 7.78 MB で 84.72% の精度を達成し、FedAvg（40.99 MB で 85.53%）よりも通信効率に優れた。
• CIFAR-10 では、EvoFed は通信量 0.023 GB で 54.12% の精度を達成し、FedAvg（2.134 GB で 50.22%）を上回り、99.7% 以上のモデル圧縮を実現した。
• MNIST では、EvoFed は通信量 9.2 MB で 97.62% の精度を達成し、FedAvg（73.7 MB）を大きく上回り、有効圧縮率が 98.8% に達した。
• FMNIST において、パopulationサイズを 128 サンプルを超えて増加させても性能向上の余地が小さくなり、パラメータ空間の十分な探索が行われたことを示した。
• 完全なモデルパラメータの代わりにコンパクトなフィットネスベクトルを用いたにもかかわらず、複数のデータセットで収束性と汎化性能を維持した。
• 特に高圧縮率下でも、Fed-quant や Fed-sparse といったベースライン手法に比べ、精度と通信効率の両面で EvoFed が優れた性能を示した。