[論文レビュー] Collaborative Fairness in Federated Learning

Lingjuan Lyu, Xinyi Xu+1 more|arXiv (Cornell University)|Aug 27, 2020

Privacy-Preserving Technologies in Data参考文献 13被引用数 10

ひとこと要約

本稿では、参加者の貢献に基づいて異なるモデル更新を割り当てる動的レピュテーションメカニズムを用いる、協調的公平性を実現する新しいフレームワークである協調的公平フェデレーテッドラーニング（CFFL）を提案する。このフレームワークは、モデルの精度を損なわずに公平性を確保する。CFFLは、単独学習および標準的なフェデレーテッドラーニングと比較して、より高い公平性を達成するとともに、集中型学習と同等の精度を維持する。

ABSTRACT

In current deep learning paradigms, local training or the Standalone framework tends to result in overfitting and thus poor generalizability. This problem can be addressed by Distributed or Federated Learning (FL) that leverages a parameter server to aggregate model updates from individual participants. However, most existing Distributed or FL frameworks have overlooked an important aspect of participation: collaborative fairness. In particular, all participants can receive the same or similar models, regardless of their contributions. To address this issue, we investigate the collaborative fairness in FL, and propose a novel Collaborative Fair Federated Learning (CFFL) framework which utilizes reputation to enforce participants to converge to different models, thus achieving fairness without compromising the predictive performance. Extensive experiments on benchmark datasets demonstrate that CFFL achieves high fairness, delivers comparable accuracy to the Distributed framework, and outperforms the Standalone framework.

研究の動機と目的

• フェデレーテッドラーニングにおいて、貢献度にかかわらず全参加者が同一のモデルを受け取るという、協調的公平性の欠如に対処すること。
• 参加者のモデルパフォーマンスへの実際の貢献に基づいて報酬を与えるフレームワークを設計すること。
• レピュテーションに基づくモデル割り当てを通じて公平性を確保しつつ、高い予測精度を維持すること。
• 金融や医療など、公平性と信頼が重要な実世界の環境における実用的導入を可能にすること。
• 低貢献参加者を自動的に特定・隔離することで、フリー・ライディングを排除すること。

提案手法

• 参加者の貢献度を、ローカルの検証セットにおける実証的モデルパフォーマンスに基づいて評価・反復的に更新するレピュテーションメカニズムを導入する。
• サーバーから参加者には、現在のレピュテーションスコアに応じてスケーリングされたパーソナライズドモデル更新が提供される。
• レピュテーションしきい値 $ c_{th} $ を用いて、低効用によりレピュテーションが低下するフリー・ライダーを検出・隔離する。
• 各参加者のモデル更新の限界貢献度を反映する、ユーティリティベースの報酬関数を採用する。
• 収束安定性と公平性の向上を図るため、特にデータが不均衡な状況下で、事前学習を適用する。
• 通信ラウンドに応じて、参加者のリアルタイムな貢献度を反映してモデル割り当てを動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングをどのように変更すれば、参加者が貢献度に応じたモデルを受け取れるようにできるか？
• RQ2 外部インcentiveがなくても、レピュテーションメカニズムが高貢献者と低貢献者を効果的に区別できるか？
• RQ3 レピュテーションに基づくモデル割り当ては、標準的なフェデレーテッドラーニングと比較して高い予測精度を維持できるか？
• RQ4 乱数やノイズの多い更新をアップロードするフリー・ライダーは、システムによってどのように処理されるか？
• RQ5 レピュテーションしきい値の選択が、公平性および収束に与える影響は何か？

主な発見

• CFFLは、単独学習および標準的なフェデレーテッドラーニングと比較して、貢献度に応じて参加者が異なるモデルに収束するため、顕著に高い公平性を達成する。
• CFFLにおける最も貢献度の高い参加者は、集中型（分散型）フレームワークと同等の精度を達成し、単独ベースラインを上回る。
• CFFLは、すべてのベンチマークデータセットおよびデータ不均衡シナリオにおいて、単独モデルよりも一貫して高い個別モデル精度を提供する。
• 乱数勾配をアップロードするフリー・ライダーは、学習の初期段階で自動的に検出・隔離され、全体の収束性や精度に悪影響を及ぼさない。
• 事前学習により、参加者数が多い場合やデータ分布が不均衡な場合に、公平性と収束安定性が向上する。
• レピュテーションメカニズムは貢献度を効果的に区別し、低パフォーマンス参加者には低品質のモデルが割り当てられるため、公平性が確保される。