[論文レビュー] Is Shapley Value fair? Improving Client Selection for Mavericks in Federated Learning

Jiyue Huang, Chi Hong+2 more|arXiv (Cornell University)|Jun 20, 2021

Privacy-Preserving Technologies in Data参考文献 42被引用数 5

ひとこと要約

本稿では、Wasserstein距離を用いてデータ分布の乖離を測定することで、希少または独自のデータクラスを持つクライアント（Mavericks）を優遇する手法として、FedEMDを提案する。FedEMDは、FedAvg設定において、収束速度を最低26.9%向上させ、特にデータ分布が偏っている状況で優れた性能を発揮する。Shapley Value や最先端手法を上回る。

ABSTRACT

Shapley Value is commonly adopted to measure and incentivize client participation in federated learning. In this paper, we show -- theoretically and through simulations -- that Shapley Value underestimates the contribution of a common type of client: the Maverick. Mavericks are clients that differ both in data distribution and data quantity and can be the sole owners of certain types of data. Selecting the right clients at the right moment is important for federated learning to reduce convergence times and improve accuracy. We propose FedEMD, an adaptive client selection strategy based on the Wasserstein distance between the local and global data distributions. As FedEMD adapts the selection probability such that Mavericks are preferably selected when the model benefits from improvement on rare classes, it consistently ensures the fast convergence in the presence of different types of Mavericks. Compared to existing strategies, including Shapley Value-based ones, FedEMD improves the convergence of neural network classifiers by at least 26.9% for FedAvg aggregation compared with the state of the art.

研究の動機と目的

• フェデレーテッドラーニングにおける希少または独自のデータクラス（Mavericks）を持つクライアントの貢献度を、Shapley Valueが公平に評価できるかを調査すること。
• 非i.i.d.データ分布でクラス所有が偏っている状況において、既存のクライアント選択戦略（Shapley Valueを含む）の限界を是正すること。
• Mavericksのデータが希少クラスの学習に最も寄与できる段階で、それらを動的に優先するクライアント選択戦略を設計すること。
• 特にWasserstein距離を用いたデータ分布ベースの選択が、スコアベースやランダム選択よりも収束を速めるかを実証すること。

提案手法

• FedEMDは、クライアントの局所的データ分布とグローバルデータ分布との間のWasserstein距離を用いて、選択確率を計算する。
• グローバル分布から乖離度が高いクライアント、特にMavericksは、初期トレーニングラウンドで高い選択確率が与えられる。
• 選択確率はラウンドに応じて動的に変化し、Mavericksのデータがグローバルモデルの希少クラス学習に最も貢献できる段階で優遇される。
• 軽量な設計であり、モデル再訓練を必要とせず、FedAvgや他のアグリゲーション方式ともシームレスに統合可能である。
• モデルの精度が安定化する後段階では、Mavericksの選択確率を低下させることで、過剰重視を回避する。
• 特に非i.i.d.なFL設定において、データ量の不均衡や分布シフトに対しても頑健であることが設計上保証されている。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおいて、希少または独自のデータクラス（Mavericks）を持つクライアントの貢献度を、Shapley Valueが公平に評価できるか？
• RQ2 貢献度測定に偏りがある場合、Mavericksが不足している状況でクライアント選択戦略の性能がどの程度劣化するか？
• RQ3 Wasserstein距離を活用するデータ分布ベースのクライアント選択戦略は、非i.i.d.フェデレーテッドラーニングにおいて収束速度を向上させられるか？
• RQ4 FedEMDは、収束速度と安定性の観点から、Shapley Value や最先端のクライアント選択手法をどの程度上回るか？
• RQ5 異なる種類のMavericks（独自所有型と共有所有型）に対して、FedEMDはどのように性能を発揮するか？

主な発見

• FedEMDは、FedAvg設定において、最先端手法と比較して最低26.9%の収束速度向上を達成しており、特に非i.i.d.な状況で顕著な改善が見られる。
• Shapley Valueに基づく選択では、Mavericksの貢献度が過小評価される傾向がある。これは、初期トレーニング段階でMavericksのデータ分布がグローバルモデルから乖離しているためである。
• MNIST、FMNIST、Cifar-10、STL-10を含む全データセットにおいて、FedEMDはランダム選択、TiFL、FedFast、FedProx、FedSGDを常に上回る収束速度を示した。
• 独自所有型Mavericksでは、FedEMDが最も速い収束を達成するが、FedFastやTiFLはクラスタリングやランダム要因の影響で性能が劣化または不安定になる。
• 共有Mavericksの状況では、FedEMDは高速な収束と低い標準偏差を維持しており、他の手法と比較して高い安定性を示している。
• 共有Mavericksが増えるほど、FedEMDの収束速度はわずかに向上する。これは、バランスの取れた分布がi.i.d.設定に近づくためであり、この状況ではランダム選択も良好に機能するためである。