[論文レビュー] FedCC: Robust Federated Learning against Model Poisoning Attacks

Hyejun Jeong, Ha-Min Son+3 more|arXiv (Cornell University)|Dec 5, 2022

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

FedCCは、中心化カーネル整合性（CKA）を用いて中間層出力（PLR）を比較することで、非対称的でないデータとモデル汚染攻撃の両方に対して耐性を持つフェデレーテッドラーニングフレームワークを提案する。本手法は、生データを共有せず、中央集権的な知識を必要とせず、非対称的でないデータ環境下でも最先端の精度を達成し、FedAvg、CoMed、FLAREなどのベースラインを凌駕する。

ABSTRACT

Federated learning is a distributed framework designed to address privacy concerns. However, it introduces new attack surfaces, which are especially prone when data is non-Independently and Identically Distributed. Existing approaches fail to effectively mitigate the malicious influence in this setting; previous approaches often tackle non-IID data and poisoning attacks separately. To address both challenges simultaneously, we present FedCC, a simple yet effective novel defense algorithm against model poisoning attacks. It leverages the Centered Kernel Alignment similarity of Penultimate Layer Representations for clustering, allowing the identification and filtration of malicious clients, even in non-IID data settings. The penultimate layer representations are meaningful since the later layers are more sensitive to local data distributions, which allows better detection of malicious clients. The sophisticated utilization of layer-wise Centered Kernel Alignment similarity allows attack mitigation while leveraging useful knowledge obtained. Our extensive experiments demonstrate the effectiveness of FedCC in mitigating both untargeted model poisoning and targeted backdoor attacks. Compared to existing outlier detection-based and first-order statistics-based methods, FedCC consistently reduces attack confidence to zero. Specifically, it significantly minimizes the average degradation of global performance by 65.5\%. We believe that this new perspective on aggregation makes it a valuable contribution to the field of FL model security and privacy. The code will be made available upon acceptance.

研究の動機と目的

• サーバーがローカルデータ分布を把握できないことによるフェデレーテッドラーニングのモデル汚染攻撃への脆弱性を是正すること。
• 非対称的でないデータ環境下で、非標的および標的（バックドア）攻撃の両方に効果的な耐性を持つ集約手法を開発すること。
• 生データの共有や中央集権的な知識に依存せず、フェデレーテッドラーニングのプライバシー利点を維持すること。
• 汚染攻撃下でもグローバルモデルの精度を向上させるとともに攻撃の信頼度を低下させつつ、健全な状態の性能を維持すること。
• データの非対称性やクライアントレベルのデータ分布の変化に強く、耐性を持つ検出メカニズムを提供すること。

提案手法

• FedCCは、ローカルモデルのペンルティメート層出力（PLR）とグローバルモデルとの間で中心化カーネル整合性（CKA）を計算し、類似度を測定する。
• グローバルモデルの表現パターンから著しく逸脱する、CKA類似度が低いクライアントを悪意あるものと仮定し、除外する。
• 本手法は生データの共有やクライアントデータ分布の事前知識を必要とせず、プライバシーを保持する。
• グローバルモデルとのCKA類似度が高いクライアントの更新のみを集約し、汚染された更新をフィルタリングする。
• 本手法は、クライアント間でデータ分布が著しく異なる非対称的でない環境でも耐性を持つように設計されている。
• 統計的仮定やモデル重みの大きさに依存しない類似度ベースのフィルタリング機構を採用する。

実験結果

リサーチクエスチョン

• RQ1 中間層出力のCKAを用いた類似度ベースの手法は、非標的汚染攻撃下において、フェデレーテッドラーニングで悪意あるクライアントを効果的に検出できるか？
• RQ2 非対称的でないデータ環境下で、標的バックドア攻撃の緩和を図りつつ健全なモデル精度を維持する点で、FedCCはどの程度の性能を示すか？
• RQ3 クライアントが極めて非対称的でないデータ分布を持つ場合、FedCCはグローバルモデルの精度をどの程度維持できるか？
• RQ4 FedAvg、CoMed、FLAREなどの既存の耐性集約手法と比較して、FedCCの耐性と収束安定性はどの程度優れているか？
• RQ5 ローカルエポック数やクライアント参加率が、汚染攻撃下でのFedCCの耐性と精度に与える影響は何か？

主な発見

• 非標的攻撃下では、fMNISTで64.83%、CIFAR-10で20.49%のテスト精度を達成し、10%のクライアント参加率でFedAvg（55.31%および10.06%）や他のベースラインを上回った。
• 50%のクライアント参加率では、untargeted-Krum攻撃下でfMNISTで76.41%、CIFAR-10で34.32%の精度を達成し、FLARE（両方とも10.00%）を著しく上回った。
• 標的バックドア攻撃下では、バックドアの信頼度を低下させつつも、高い健全な精度を維持し、ローカルエポックを2倍にした場合、fMNISTで82.31%、CIFAR-10で54.94%のテスト精度を達成した。
• 非対称的でない条件下でも、CoMedやFLAREと比較して、非標的および標的攻撃両方の状況で一貫して優れた性能を示した。
• 収束が安定しており、特に動的クライアント選択下で発散を引き起こすことがあったFLAREの重みスケーリング問題を経験しなかった。
• 極めて非対称的でない環境下でも、データの多様性が低くモデルドリフトが高い状況でも、FedCCのCKAベースのフィルタリングは悪意あるクライアントを効果的に同定した。