[論文レビュー] Mitigating Sybils in Federated Learning Poisoning

Clement Fung, Chris J. M. Yoon+1 more|arXiv (Cornell University)|Aug 14, 2018

Privacy-Preserving Technologies in Data参考文献 43被引用数 360

ひとこと要約

本論文は、FoolsGoldという防御を導入し、連邦学習のクライアント学習率をクライアント間勾配類似性に基づいて適応的に調整することで、固定された攻撃者数を仮定せずにSybil攻撃ベースの汚染を緩和します。

ABSTRACT

Machine learning (ML) over distributed multi-party data is required for a variety of domains. Existing approaches, such as federated learning, collect the outputs computed by a group of devices at a central aggregator and run iterative algorithms to train a globally shared model. Unfortunately, such approaches are susceptible to a variety of attacks, including model poisoning, which is made substantially worse in the presence of sybils. In this paper we first evaluate the vulnerability of federated learning to sybil-based poisoning attacks. We then describe \emph{FoolsGold}, a novel defense to this problem that identifies poisoning sybils based on the diversity of client updates in the distributed learning process. Unlike prior work, our system does not bound the expected number of attackers, requires no auxiliary information outside of the learning process, and makes fewer assumptions about clients and their data. In our evaluation we show that FoolsGold exceeds the capabilities of existing state of the art approaches to countering sybil-based label-flipping and backdoor poisoning attacks. Our results hold for different distributions of client data, varying poisoning targets, and various sybil strategies. Code can be found at: https://github.com/DistributedML/FoolsGold

研究の動機と目的

• フェデレーテッドラーニングがSybil攻撃ベースの汚染に脆弱であることを動機づけ、定量化する。
• 類似性（寄与度の類似性）を用いて、類似した（潜在的なSybil）更新を低重み付けする防御法（FoolsGold）を提案する。
• 多様なデータセット、モデル、汚染戦略に渡って有効性を示す。
• この防御が外部の攻撃者数パラメータに依存せず、既存の防御を補完することを示す。

提案手法

• クライアントからのモデル更新は、示唆的な特徴に対してコサイン類似度を用いて方向性の類似性を分析する。
• 過去の更新をクライアントごとに蓄積し、時間経過に伴う寄与の類似性を測定する。
• 赦し機構は、Sybilと混在した場合に正直なクライアントを不利に扱わないように類似性をスケーリングする。
• 確信パラメータを伴うロジットベースの再加重（logit-based reweighting）を用いて、類似性を統合のための各クライアント学習率へ変換する。
• 最終更新 w_{t+1} = w_t + sum_i alpha_i * Delta_i,t は、これらの適応的にスケーリングされた更新を用いる。
• このアプローチは FEDSGD および FEDAVG に対応しており、データの検証や攻撃者数の制限を必要としません。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングは、明示的な攻撃者数の境界仮定なしに、任意の数のSybil attackerに対して頑健になり得るか？
• RQ2 類似性に基づくクライアント学習率の適応は、非IIDデータ分布下でラベル反転やバックドア汚染を効果的に抑制するか？
• RQ3 さまざまなSybil戦略とデータセットの下で、FoolsGoldは従来の防御（例：Multi-Krum）と比較してどうであるか？
• RQ4 勾配類似性に基づく適応的学習率を用いることによる収束と頑健性への影響は何か？

主な発見

	Baseline	Attack 1	Attack 2	Attack Success Rate	Accuracy (digits: 0,2-9)	Accuracy (digit: 1)
MNIST (Baseline)	10	10	10	0%	90.2%	96.5%
MNIST Attack 1	10	1	?	35.9%	89.4%	60.7%
MNIST Attack 2	10	2	?	96.2%	88.8%	0.0%

• FoolsGoldは、複数のデータセット（MNIST、VGGFace2、KDDCup99、Amazon）においてSybil攻撃ベースの汚染の影響を低減する。
• 歴史的勾配の類似性に基づくクライアントごとの学習率の適応は、正直な更新を保ちながらSybilの寄与を抑制する。
• データ分布の変動、汚染ターゲット、Sybil戦略の異なる場合にもFoolsGoldは効果的であり、攻撃者数を指定する必要はない。
• 本手法はラベル反転およびバックドア攻撃に対して強力な防御を示し、報告されたシナリオの中で特定のベースライン防御より優れている。
• FoolsGoldは既存の防御（例：Multi-Krum）と組み合わせて強化保護を実現できる。