[論文レビュー] G$^2$uardFL: Safeguarding Federated Learning Against Backdoor Attacks through Attributed Client Graph Clustering

Hao Yu, Chuan Ma+6 more|arXiv (Cornell University)|Jun 8, 2023

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

G2uardFLは悪意のあるクライアント検知を属性付きグラフクラスタリングとして再定義し、バックドア攻撃から連合学習を防御、収束保証と強力な実証結果を提供。

ABSTRACT

Federated Learning (FL) offers collaborative model training without data sharing but is vulnerable to backdoor attacks, where poisoned model weights lead to compromised system integrity. Existing countermeasures, primarily based on anomaly detection, are prone to erroneous rejections of normal weights while accepting poisoned ones, largely due to shortcomings in quantifying similarities among client models. Furthermore, other defenses demonstrate effectiveness only when dealing with a limited number of malicious clients, typically fewer than 10%. To alleviate these vulnerabilities, we present G$^2$uardFL, a protective framework that reinterprets the identification of malicious clients as an attributed graph clustering problem, thus safeguarding FL systems. Specifically, this framework employs a client graph clustering approach to identify malicious clients and integrates an adaptive mechanism to amplify the discrepancy between the aggregated model and the poisoned ones, effectively eliminating embedded backdoors. We also conduct a theoretical analysis of convergence to confirm that G$^2$uardFL does not affect the convergence of FL systems. Through empirical evaluation, comparing G$^2$uardFL with cutting-edge defenses, such as FLAME (USENIX Security 2022) [28] and DeepSight (NDSS 2022) [36], against various backdoor attacks including 3DFed (SP 2023) [20], our results demonstrate its significant effectiveness in mitigating backdoor attacks while having a negligible impact on the aggregated model's performance on benign samples (i.e., the primary task performance). For instance, in an FL system with 25% malicious clients, G$^2$uardFL reduces the attack success rate to 10.61%, while maintaining a primary task performance of 73.05% on the CIFAR-10 dataset. This surpasses the performance of the best-performing baseline, which merely achieves a primary task performance of 19.54%.

研究の動機と目的

• 連合学習におけるデータ共有なしでのバックドア脆弱性に対処する。
• グラフベースのクライアント関係を用いることで異常検知ベースの防御の限界を克服する。
• 低次元特徴量を持つ属性付きグラフクラスタリングとして悪意クライアント検知を再定義する。
• バックドアを組み込みつつ収束を維持する適応的な排除機構を提供する。

提案手法

• 低次元のクライアント特徴とモデル更新から属性付きの対クライアントグラフを構築する。
• 正規化後に結合する多様なポイズニングパターンを捉える三つの隣接行列（E1、E2、E3）を使用する。
• サンプリングされた部分グラフに対してグラフオートエンコーダーに基づくクラスタリングを適用し、クライアントをクラスターに分ける。
• 善意スコアを用いた動的フィルタリングとクリッピングを導入し、悪意クラスターの影響を識別・制限する。
• バックドア検出時には世界モデルを善性方向へ誘導する適応的な毒性除去モジュールを組み込む。
• G2uardFLの下で連合学習の収束を証明し、収束挙動の劣化が生じないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 G2uardFLはデータ Poisoning、Model Poisoning、またはその両方といった様々なバックドア攻撃タイプの下で悪意のあるクライアントを正確に識別できるか。
• RQ2 属性付きグラフクラスタリング防御を適用することで、良性データ上のグローバルモデルの主タスク性能は維持されるか。
• RQ3 異なるバックドア攻撃シナリオにおいて、最先端防御と比較してG2uardFLの性能はどうか。
• RQ4 ラウンドに参加する悪意クライアントの数が変動しても防御は頑健か。
• RQ5 適応的な毒性除去機構は時間とともに埋め込まれたバックドアを効果的に除去できるか。

主な発見

• G2uardFLはベースラインと比較して、データセットと攻撃シナリオを跨いでバックドア攻撃を大幅に緩和する。
• 悪意クライアントが25%のFLシステムでは、攻撃成功率を10.61%まで低減する。
• CIFAR-10で25%の悪意設定下でも主タスク性能を73.05%を維持し、最良のベースラインが達成する19.54%を上回る。
• 本フレームワークは収束解析を提供し、FLの収束には影響を与えないことを示している。
• G2uardFLは報告されたシナリオにおいてFLAMEやDeepSightといった最先端防御よりも優れている。
• 低次元のクライアント表現と属性付きグラフ関係を活用することで、多様なバックドアタイプに対応できる。