[論文レビュー] RFLBAT: A Robust Federated Learning Algorithm against Backdoor Attack

Yongkang Wang, Di‐Hua Zhai+2 more|arXiv (Cornell University)|Jan 11, 2022

Network Security and Intrusion Detection被引用数 9

ひとこと要約

RFLBAT は、攻撃者数やデータ分布に関する事前知識が不要な PCA および K-means クラスタリングを用いて、悪意ある勾配を検出・除外することで、バックドア攻撃に対して耐性を持つ新しいフェデレーテッドラーニングアルゴリズムである。非独立同分布（non-IID）データ、異なるクライアント数、分散型バックドア攻撃などの多様な攻撃シナリオにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

Federated learning (FL) is a distributed machine learning paradigm where enormous scattered clients (e.g. mobile devices or IoT devices) collaboratively train a model under the orchestration of a central server (e.g. service provider), while keeping the training data decentralized. Unfortunately, FL is susceptible to a variety of attacks, including backdoor attack, which is made substantially worse in the presence of malicious attackers. Most of algorithms usually assume that the malicious at tackers no more than benign clients or the data distribution is independent identically distribution (IID). However, no one knows the number of malicious attackers and the data distribution is usually non identically distribution (Non-IID). In this paper, we propose RFLBAT which utilizes principal component analysis (PCA) technique and Kmeans clustering algorithm to defend against backdoor attack. Our algorithm RFLBAT does not bound the number of backdoored attackers and the data distribution, and requires no auxiliary information outside of the learning process. We conduct extensive experiments including a variety of backdoor attack types. Experimental results demonstrate that RFLBAT outperforms the existing state-of-the-art algorithms and is able to resist various backdoor attack scenarios including different number of attackers (DNA), different Non-IID scenarios (DNS), different number of clients (DNC) and distributed backdoor attack (DBA).

研究の動機と目的

• 攻撃者数やデータの非独立同分布（non-IID）分布が未知であるという現実的な条件下でも、フェデレーテッドラーニングにおけるバックドア攻撃という深刻な脆弱性に対処すること。
• 攻撃者数が良性クライアントより少ないことや、データが独立同分布（IID）であることといった強い仮定に依存する既存のロバストアグリゲーション手法の限界を克服すること。
• トレーニングデータやテストデータへのアクセスなしに、バックドアが仕込まれたモデル更新を検出し除外できる防御機構を開発し、プライバシーの保護を確保すること。
• 攻撃者クライアントが訓練プロセスを支配するか、攻撃が複数のクライアントに分散して行われるなど極端な状況でも耐性を発揮すること。
• PCA とクラスタリングを活用して勾配構造を分析することで、スケーラブルかつ完全に非教師ありな防御を実現すること。

提案手法

• クライアントのモデル更新の次元を削減するために主成分分析（PCA）を適用し、潜在的な勾配構造を明らかにすることで、健全な勾配と汚染された勾配の明確な分離を可能にする。
• PCA で次元削減された勾配に対して K-means クラスタリングを適用し、類似した更新をグループ化する。ここでは、健全な勾配は自然に密なクラスタを形成するが、汚染された勾配は明確な外れ値として分離される。
• 勾配ベクトル間のコサイン類似度を用いて、最も代表的な健全な勾配を特定・選択し、グローバルモデルのアグリゲーションに使用する。
• 選択された健全な勾配のみを重み付き平均でアグリゲートすることで、グローバルモデルを更新し、悪意ある更新を効果的に除外する。
• 攻撃強度の変動に応じた検出精度の向上を図るため、PCA のスケール要因を動的に調整する。
• 完全に非教師ありの環境で動作する——ラベル付きデータも補助モデルも不要で、攻撃者数やデータ分布に関する仮定も一切不要である。

実験結果

リサーチクエスチョン

• RQ1 攻撃者数の事前知識がなくても、ロバストアグリゲーションアルゴリズムは汚染された勾配を検出し除外できるか？
• RQ2 既存の手法がしばしば失敗する非独立同分布（non-IID）データ分布下でも、RFLBAT はバックドア攻撃に対してどれほど効果的か？
• RQ3 参加クライアント数や攻撃者数の大幅な変動に対しても、RFLBAT は高いモデル精度と耐性を維持できるか？
• RQ4 複数のクライアントが異なるデータサブセットにわたり、共同でトリガーを注入する分散型バックドア攻撃に対しても、RFLBAT は効果を発揮するか？
• RQ5 攻撃者クライアントが良性クライアントを上回る状況下でも、RFLBAT は依然として有効であるか？これは、多くの先行防御がその前提に依存しているため、重大な挑戦である。

主な発見

• RFLBAT は、評価されたすべてのバックドア攻撃シナリオにおいて、最先端の防御手法を大きく上回る高いテスト精度を達成した。これには、攻撃者数の異なる状況（DNA）、非独立同分布データ（DNS）、クライアント数の変動（DNC）、分散型バックドア攻撃（DBA）が含まれる。
• 分散型バックドア攻撃（DBA）シナリオでは、汚染されたクライアントが勾配を強化しても、RFLBAT は高いパフォーマンスを維持し、勾配操作に対する耐性を示した。
• PCA で次元削減された勾配の可視化により、スケール要因 λ=100 の場合、健全な勾配と汚染された勾配が明確に異なるクラスタに分離されていることが確認され、正確な検出と除外が可能であることが示された。
• λ=1 の場合、勾配が広がりすぎて信頼性の低いクラスタリングが生じ、健全な勾配の一部が誤って除外されるが、λ=100 の場合、すべての健全な勾配が1つのクラスタに正常に収束している。
• Krum や Bulyan、FoolsGold といった既存手法に比べ、特に攻撃率の高い状況や非独立同分布環境下で、RFLBAT は精度と耐性の両面で優れた性能を発揮した。
• 攻撃者クライアントの数が良性クライアントを上回る状況下でも、RFLBAT は有効に機能し、多くの先行防御がその前提に依存しているため、その仮定が崩れる状況でも機能する。