[論文レビュー] On the Impact of Device and Behavioral Heterogeneity in Federated Learning

Ahmed M. Abdelmoniem, Chen-Yu Ho+3 more|arXiv (Cornell University)|Feb 15, 2021

Privacy-Preserving Technologies in Data参考文献 44被引用数 12

ひとこと要約

本論文は、フェデレーテッドラーニング（FL）におけるデバイスおよび行動的非同一性の影響について包括的な実験的調査を実施し、5つのベンチマークで1,500以上の設定を評価した。非同一性は平均モデル精度を最大4.6倍、公平性を最大2.2倍低下させることを明らかにした。デバイス非同一性は性能を損なう一方、行動的非同一性は公平性を低下させる。

ABSTRACT

Federated learning (FL) is becoming a popular paradigm for collaborative learning over distributed, private datasets owned by non-trusting entities. FL has seen successful deployment in production environments, and it has been adopted in services such as virtual keyboards, auto-completion, item recommendation, and several IoT applications. However, FL comes with the challenge of performing training over largely heterogeneous datasets, devices, and networks that are out of the control of the centralized FL server. Motivated by this inherent setting, we make a first step towards characterizing the impact of device and behavioral heterogeneity on the trained model. We conduct an extensive empirical study spanning close to 1.5K unique configurations on five popular FL benchmarks. Our analysis shows that these sources of heterogeneity have a major impact on both model performance and fairness, thus sheds light on the importance of considering heterogeneity in FL system design.

研究の動機と目的

• デバイスおよび行動的非同一性がフェデレーテッドラーニングモデルの性能と公平性に与える影響を調査すること。
• ハイパーパrameterおよびシステム設定が、実世界のFL展開における非同一性の影響をどのように拡大させるかを特定すること。
• 既存のFLアルゴリズムが非同一性に起因する性能低下とバイアスを効果的に緩和できるかを評価すること。
• 生産環境におけるより強固で公平なFLシステムの設計に実証的根拠を提供すること。

提案手法

• FEMNIST、Shakespeare、Reddit、CelebA、Syntheticの5つの標準的なFLベンチマークを対象に、広範な実験的評価を実施した。
• デバイスの能力、ネットワーク状態、クライアントの可用性、サンプリング戦略を変化させることで、1,500以上の独自な学習シナリオを構成した。
• Flashフレームワークを用いて、遅延クライアントや可変接続性を含む現実的なデバイスおよび行動的非同一性をシミュレートした。
• 全クライアントにおける正規化されたテスト精度とJainの公平性指数を用いた公平性を測定することで、モデルの性能を測定した。
• 学習率、バッチサイズ、FL集約頻度、クライアントサンプリングポリシーを体系的に変化させ、感度を評価した。
• 収束行動を分析し、高い非同一性下でモデル発散が生じる事例を同定した。

実験結果

リサーチクエスチョン

• RQ1 デバイス非同一性は、フェデレーテッドモデルの平均精度と公平性にどのように影響するか？
• RQ2 クライアントの離脱や可用性に起因する行動的非同一性は、どの程度モデルの公平性を低下させるか？
• RQ3 非同一性条件下で、FL学習プロセスはハイパーパrameterの選択に対してどの程度感受性を示すか？
• RQ4 既存のFLアルゴリズムは、デバイスおよび行動的非同一性に起因する性能および公平性の低下を効果的に緩和できるか？

主な発見

• デバイス非同一性のみでも、均一なベースライン設定と比較して平均モデル精度が最大4.6倍低下する。
• 行動的非同一性は、Jainの公平性指数で測定した場合、モデル公平性に最大2.2倍の低下をもたらす。
• デバイス非同一性と行動的非同一性の併存状況（DH + BH）では、モデルの性能と公平性が顕著に低下し、50％の実験でテスト精度がベースラインの0.88倍未満にまで低下した。
• 非同一性は頻繁にモデル発散を引き起こし、極端な場合には学習プロセスが無効化される。
• モデルが収束しても、非同一性の度合いと平均精度および公平性の間に強い負の相関が観察された。
• Q-FFLのような既存の緩和アルゴリズムは、デバイスおよび行動的非同一性に起因する性能および公平性の低下を効果的に是正できないことが判明した。