[論文レビュー] Towards Building a Robust and Fair Federated Learning System.

Xinyi Xu, Lingjuan Lyu|arXiv (Cornell University)|Nov 20, 2020

Privacy-Preserving Technologies in Data参考文献 20被引用数 21

ひとこと要約

本稿では、補助データを必要とせずに、参加者の貢献度に応じた報酬とフリーライダーまたは攻撃者の検出・排除を可能にする、レピュテーションスコアを用いた耐障害性と公平性に優れたフェデレーテッドラーニング（RFFL）フレームワークを提案する。RFFLは、高い公平性、多数の攻撃タイプに対する強い耐性、標準的なFLと同等の精度を達成する。

ABSTRACT

Federated Learning (FL) has emerged as a promising practical framework for effective and scalable distributed machine learning. However, most existing FL or distributed learning frameworks have not addressed two important issues well together: collaborative fairness and robustness to non-contributing participants (e.g. free-riders, adversaries). In particular, all participants can receive the 'same' access to the global model, which is obviously unfair to the high-contributing participants. Furthermore, due to the lack of a safeguard mechanism, free-riders or malicious adversaries could game the system to access the global model for free or to sabotage it. By identifying the underlying similarity between these two issues, we investigate them simultaneously and propose a novel Robust and Fair Federated Learning (RFFL) framework which utilizes reputation scores to address both issues, thus ensuring the high-contributing participants are rewarded with high-performing models while the low- or non-contributing participants can be detected and removed. Furthermore, our approach differentiates itself by not requiring any auxiliary dataset for the reputation calculation. Extensive experiments on benchmark datasets demonstrate that RFFL achieves high fairness, is robust against several types of adversaries, delivers comparable accuracy to the conventional federated framework and outperforms the Standalone framework.

研究の動機と目的

• 高貢献参加者に適切に報酬が与えられず、低貢献または非貢献参加者がシステムを悪用する問題を解消するため、フェデレーテッドラーニング（FL）における公平性と耐障害性の二重の課題に対処すること。
• 公平性と耐障害性の問題に内在する類似性を特定し、それらを同時に緩和するための基盤を提供すること。
• 外部データセットを用いたレピュテーションスコアの算出に依存せずに、貢献者に公平に報酬を分配し、フリーライダーまたは攻撃者を検出・排除できるフレームワークを設計すること。
• 多様な攻撃行動に対してもグローバルモデルの精度と安全性を保ちつつ、活発に参加する参加者に対して公平なアクセスを確保すること。

提案手法

• RFFLフレームワークは、各クライアントの貢献度をモデル更新と学習品質に基づいて評価する動的レピュテーションスコア評価機構を導入する。
• レピュテーションスコアは、モデル更新の重み付き集約とグローバルモデルの方向性との整合性を用いて反復的に更新される。
• 低スコアまたは負のスコアを持つクライアントは、将来のグローバルモデル集約から除外される。
• レピュテーションシステムは自己完結的であり、トレーニングや検証に必要な補助データセットや真値ラベルを必要としない。
• グローバルモデルは、高レピュテーションを持つクライアントからのみの寄与に基づいて更新され、公平性と耐障害性が保証される。
• フレームワークは標準的なFLトレーニングパイプラインと互換性があり、既存のFLシステムにスムーズに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 補助データに依存せずに、フェデレーテッドラーニングにおける公平性と耐障害性を同時に向上させることは可能か？
• RQ2 フェデレーテッドラーニングにおける公平性と耐障害性の背後にある関係性は何か？ これにより、両者の共同最適化が可能になる。
• RQ3 レピュテーションベースのシステムは、貢献のないまたは悪意あるクライアントを効果的に検出し、除外できるか？
• RQ4 提案されたRFFLフレームワークは、標準的なFLおよび単独ベースラインと比較して、精度、公平性、およびさまざまな攻撃タイプに対する耐性において、どのように性能を発揮するか？
• RQ5 レピュテーションスコア化の影響は、モデル収束速度とクライアント参加の公平性にどのような影響を与えるか？

主な発見

• RFFLは、レピュテーションに基づく重み付けにより、高貢献参加者がより優れたモデルを受け取ることで、高い公平性を達成する。
• フレームワークは、フリーライダーおよび複数の種類の攻撃者を効果的に検出し、除外することで、システムの耐障害性を向上させる。
• RFFLは、ベンチマークデータセットにおいて、従来のフェデレーテッドラーニングと同等のモデル精度を維持する。
• レピュテーションシステムは補助データセットを一切必要としないため、オーバーヘッドが低減され、導入可能性が向上する。
• RFFLは、単独トレーニングフレームワークよりも公平性と耐障害性に優れ、精度では同等を維持する。
• 低レピュテーションクライアントの排除により、グローバルモデルの収束が速くなり、一般化性能が向上する。