[論文レビュー] Entropy-driven Fair and Effective Federated Learning

Lin Wang, Zhichao Wang+3 more|arXiv (Cornell University)|Jan 29, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、損失に基づく注目メカニズムを用いて動的にクライアント参加と勾配集約を調整することにより、公平性とモデル効果を向上させるエントロピー駆動型フェデレーテッドラーニングフレームワークを提案する。局所損失と温度スケーリングに基づく指数的重み付けを活用することで、より高い損失を持つクライアントがグローバル更新により多く寄与するよう保証され、収束性が向上し、非同一性の高いクライアント間での性能差が低減される。

ABSTRACT

Federated Learning (FL) enables collaborative model training across distributed devices while preserving data privacy. Nonetheless, the heterogeneity of edge devices often leads to inconsistent performance of the globally trained models, resulting in unfair outcomes among users. Existing federated fairness algorithms strive to enhance fairness but often fall short in maintaining the overall performance of the global model, typically measured by the average accuracy across all clients. To address this issue, we propose a novel algorithm that leverages entropy-based aggregation combined with model and gradient alignments to simultaneously optimize fairness and global model performance. Our method employs a bi-level optimization framework, where we derive an analytic solution to the aggregation probability in the inner loop, making the optimization process computationally efficient. Additionally, we introduce an innovative alignment update and an adaptive strategy in the outer loop to further balance global model's performance and fairness. Theoretical analysis indicates that our approach guarantees convergence even in non-convex FL settings and demonstrates significant fairness improvements in generalized regression and strongly convex models. Empirically, our approach surpasses state-of-the-art federated fairness algorithms, ensuring consistent performance among clients while improving the overall performance of the global model.

研究の動機と目的

• 非IIDデータと異なるクライアント能力によるフェデレーテッドラーニングにおける性能差を是正すること。
• 非均質なクライアント環境下での収束性とモデル効果を向上させること。
• 特に高い局所損失を持つクライアントからの公平な貢献を保証すること。
• クライアント損失分布に応じてリアルタイムで適応する動的集約メカニズムを開発すること。

提案手法

• 局所損失値に基づいてクライアントの重要度を計算するための温度スケーリング付き指数的重み付け方式を導入する。
• クライアント損失ベクトルと均一なガイドベクトルとのコサイン類似度を用いて、公平性補正が必要かどうかを判断する。
• 損失に基づく注目メカニズムから得た重みを用いて、すべてのクライアントの勾配の重み付き平均と局所勾配をブレンドすることで、公平な勾配更新を実行する。
• 局所勾配と公平なグローバル勾配の両方を組み合わせたハイブリッド更新ルールを用いて、最適化を安定化させる。
• 最終的な局所損失に基づいて重みを計算する損失認識重み付き平均を用いてクライアント更新を集約する。
• 損失しきい値に基づいてクライアントを動的に選別し、顕著な損失の不均衡が検出された場合にのみ、公平性に配慮した集約を適用する。

実験結果

リサーチクエスチョン

• RQ1 非IIDデータと非均質なクライアントパフォーマンス下でのフェデレーテッドラーニングにおいて、クライアント貢献をどのように公平にバランスさせるか。
• RQ2 損失に基づく注目メカニズムは、非均質なフェデレーテッド環境下での収束速度とモデル精度にどのような影響を与えるか。
• RQ3 動的勾配重み付けは、トレーニング効率やモデル効果を犠牲にせずに公平性を向上させることができるか。
• RQ4 本手法は、クライアントデータの非同一性に対して、標準的な FedAvg と比べてどのようにロバスト性に優れているか。
• RQ5 エントロピー駆動型クライアント選別は、クライアント参加とパフォーマンスのバランスを維持する上で果たす役割は何か。

主な発見

• 非IIDデータ環境下では、標準的な FedAvg と比較して、提案手法がより速い収束と高い最終的なモデル精度を達成した。
• 高い局所損失を持つクライアントは一貫して高い更新重みが割り当てられ、クライアント間でのパフォーマンスのバランスが向上した。
• 温度スケーリング付き指数的重み付けの使用により、クライアントドリフトおよびデータ不均衡に対するロバスト性が向上した。
• コサイン類似度に基づく動的しきい値設定メカニズムは、公平性補正が必要な状況を効果的に同定した。
• ハイブリッド局所更新ルールは最適化の不安定性を低減し、収束安定性を改善した。
• 実験結果では、特に高非均質性環境下で、非IIDベンチマークデータセットにおけるテスト精度が顕著に向上した。