[論文レビュー] Unified Group Fairness on Federated Learning

Fengda Zhang, Kun Kuang+7 more|arXiv (Cornell University)|Nov 9, 2021

Privacy-Preserving Technologies in Data参考文献 47被引用数 8

ひとこと要約

本稿では、クライアントレベル、属性レベル、およびアグノスティックな分布の公平性を同時に確保する、フェデレーテッドラーニングにおける統一されたグループ公平性フレームワークを提案する。フェデレーテッド不確実性集合内に統一された公平性リスクを定式化し、モーメンタム加速を備えたFMDA-M最適化アルゴリズムを導入することで、多様なデータ分布シフトにおいて優れた公平性とロバスト性を達成し、従来の手法を上回る公平性指標と収束安定性を示す。

ABSTRACT

Federated learning (FL) has emerged as an important machine learning paradigm where a global model is trained based on the private data from distributed clients. However, most of existing FL algorithms cannot guarantee the performance fairness towards different groups because of data distribution shift over groups. In this paper, we formulate the problem of unified group fairness on FL, where the groups can be formed by clients (including existing clients and newly added clients) and sensitive attribute(s). To solve this problem, we first propose a general fair federated framework. Then we construct a unified group fairness risk from the view of federated uncertainty set with theoretical analyses to guarantee unified group fairness on FL. We also develop an efficient federated optimization algorithm named Federated Mirror Descent Ascent with Momentum Acceleration (FMDA-M) with convergence guarantee. We validate the advantages of the FMDA-M algorithm with various kinds of distribution shift settings in experiments, and the results show that FMDA-M algorithm outperforms the existing fair FL algorithms on unified group fairness.

研究の動機と目的

• クライアント間のデータ分布シフトおよび感受性属性に起因するフェアネス格差を是正すること。
• クライアントレベル、属性レベル、およびアグノスティックな分布の公平性を、一つの整合的なフレームワークに統合すること。
• 収束を保証するとともに、多様なデータ分布において公平性を維持する理論的裏付けに基づいたロバストな最適化アルゴリズムの開発。
• さまざまなNon-IID設定下での公平性、ロバスト性、収束性の優位性を実験的に検証すること。

提案手法

• クライアントおよび感受性属性における分布シフトをモデル化するため、フェデレーテッド不確実性集合を用いて統一されたグループ公平性リスクを定式化する。
• クライアントレベルおよび属性レベルの公平性リスクの上界を提供する、新しいフェアなフェデレーテッドフレームワークを導入する。
• モーメンタム加速を備えたフェデレーテッドミラー降下上昇法（FMDA-M）アルゴリズムを提案し、Bregman散発に基づくミラー上昇を用いて、安定したグループ重み更新を実現する。
• 最適化プロセスにモーメンタム加速を適用し、収束速度と安定性を向上させる。
• 硬いプロジェクション操作に起因する不安定性を回避するため、ミラー降下に基づく滑らかな重み更新ルール（式17）を採用する。
• 提案された統一公平性リスクの下で、FMDA-Mアルゴリズムの理論的収束保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 1つのフェデレーテッドラーニングフレームワークが、同時にクライアントレベル、属性レベル、およびアグノスティックな分布の公平性を達成できるか？
• RQ2 動的に変化するクライアントグループおよび未知の将来の分布において、公平性をどのように保証できるか？
• RQ3 複雑なデータ分布シフトの存在下で、公平性と収束安定性を両立する最適化戦略は何か？
• RQ4 極端なNon-IID設定下において、本手法は従来のフェアなFLアルゴリズムと比較して、ロバスト性と公平性の面で優れているか？

主な発見

• FMDA-Mは、極端なNon-IIDデータ分布シフト下でも、DRFAおよびFedAvgを著しく上回る統一されたグループ公平性を達成する。
• 本手法は、すべての設定で最も性能が低いクライアントの性能を維持することで、優れたロバスト性を示し、精度の差が最小限に抑えられる。
• FMDA-Mは、他の手法がNon-IID度が高くなると急激に性能を落とすのとは異なり、全テスト済みの分布シフトにおいて安定した性能を発揮する。
• Eucledianプロジェクションではなく、Bregman散発に基づくミラー降下を用いることで、より滑らかな重み更新が実現され、収束安定性が向上する。
• FMDA-Mにおけるモーメンタム加速のおかげで、収束が速くなり、DRFAおよびFMDAよりも少ない通信ラウンドで同等の公平性とロバスト性を達成できる。
• アグノスティックな分布公平性評価において、FMDA-Mは以前に観測されていなかったクライアントの分布パターンに対して強く性能を維持し、新たなデータ分布への適応性を確認した。