[論文レビュー] Client Selection in Federated Learning based on Gradients Importance

Ouiame Marnissi, Hajar El Hammouti+1 more|arXiv (Cornell University)|Nov 19, 2021

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

この論文は、通信効率と収束速度を向上させるために、ローカル勾配のL2ノルムに基づいてデバイスを選択するフェデレーテッドラーニングにおけるクライアント選択戦略を提案する。勾配ノルムが最も高いクライアントを優先することで、特に非i.i.d.データ条件下において、ランダム選択と比較して最大150ラウンドで14%高いテスト精度を達成する。計算コストは勾配ノルムの計算を除きほとんど増加せず、効果的である。

ABSTRACT

Federated learning (FL) enables multiple devices to collaboratively learn a global model without sharing their personal data. In real-world applications, the different parties are likely to have heterogeneous data distribution and limited communication bandwidth. In this paper, we are interested in improving the communication efficiency of FL systems. We investigate and design a device selection strategy based on the importance of the gradient norms. In particular, our approach consists of selecting devices with the highest norms of gradient values at each communication round. We study the convergence and the performance of such a selection technique and compare it to existing ones. We perform several experiments with non-iid set-up. The results show the convergence of our method with a considerable increase of test accuracy comparing to the random selection.

研究の動機と目的

• 帯域制限と異種データ分布によるフェデレーテッドラーニングにおける通信非効率性を解消すること。
• 非i.i.d.データ環境下で、知的なクライアント選択により収束速度とモデル精度を向上させること。
• 追加の損失評価を避けることで計算コストを低減しつつ、損失に基づく選択と同等の性能を維持すること。
• 提案された選択メカニズムの理論的収束保証を提供すること。
• 複数のデータセットを用いた、選択クライアント数がモデル性能に与える影響を実験的に評価すること。

提案手法

• 各通信ラウンドにおいて、クライアントのローカル勾配ベクトルのL2ノルムに基づいてクライアントを選択する。
• 勾配ノルムが最も高いクライアントが参加を優先され、モデル更新に寄与すると仮定する。
• 選択プロセスは軽量であり、追加の損失評価を避けて勾配ノルムの計算のみを要する。
• 選択されたクライアントは勾配をサーバーに送信し、フェデレーテッドアベレージフレームワーク内で集約される。
• 理論的分析により、特に非i.i.d.設定下での収束が保証される。
• MNIST、FMNIST、CIFAR-10のデータセットを用いて、ランダム選択および最大損失に基づく選択と比較した実験が実施された。

実験結果

リサーチクエスチョン

• RQ1 勾配ノルムの大きさに基づくクライアント選択は、フェデレーテッドラーニングにおける収束速度とテスト精度を向上させることができるか？
• RQ2 性能と計算コストの観点から、勾配ノルムに基づく選択はランダム選択および損失に基づく選択と比べてどのように異なるか？
• RQ3 異なるデータセットおよびデータの不均一性レベルにおいて、最良のモデル精度を達成するための最適なクライアント数は何か？
• RQ4 損失に基づく選択と比較して、提案手法は最小限の追加計算で強力な性能を維持できるか？
• RQ5 βで制御されるデータの不均一性（β）は、勾配ノルムに基づく選択の相対的性能にどのように影響するか？

主な発見

• 150ラウンドで、MNIST（β=0.3）において勾配ノルムに基づく選択は81.6%のテスト精度を達成し、ランダム選択と比較して14%の向上を示した。
• 同じデータセットにおいて、150ラウンドでの訓練損失はランダム選択と比較して8%低減された。
• データの不均一性が低い場合（β=5）、ランダム選択の性能は提案手法とほぼ同等であり、データが偏っていない状況では恩恵が小さいことが示された。
• FMNISTでは、15台のデバイスを勾配ノルム選択で選択した場合、150ラウンドで71.6%の精度を達成し、他の選択数よりも優れた性能を示した。
• FMNISTで85台のデバイスを選択した場合、勾配ノルムに基づく選択と損失に基づく選択の性能はほぼ同一であり、参加率が高い状況では同等の有効性を持つことが示された。
• MNISTとCIFAR-10では25台の選択が最良の精度をもたらしたが、FMNISTでは15台が最適な選択サイズであった。これは、最適な選択サイズがデータセットに依存することを示している。