[논문 리뷰] G$^2$uardFL: Safeguarding Federated Learning Against Backdoor Attacks through Attributed Client Graph Clustering

Hao Yu, Chuan Ma외 6명|arXiv (Cornell University)|2023. 06. 08.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

G2uardFL은 악성 클라이언트 탐지를 속성 그래프 클러스터링으로 재구성하여 연합 학습을 백도어 공격으로부터 방어하고, 수렴 보장과 강력한 실험 결과를 제공합니다.

ABSTRACT

Federated Learning (FL) offers collaborative model training without data sharing but is vulnerable to backdoor attacks, where poisoned model weights lead to compromised system integrity. Existing countermeasures, primarily based on anomaly detection, are prone to erroneous rejections of normal weights while accepting poisoned ones, largely due to shortcomings in quantifying similarities among client models. Furthermore, other defenses demonstrate effectiveness only when dealing with a limited number of malicious clients, typically fewer than 10%. To alleviate these vulnerabilities, we present G$^2$uardFL, a protective framework that reinterprets the identification of malicious clients as an attributed graph clustering problem, thus safeguarding FL systems. Specifically, this framework employs a client graph clustering approach to identify malicious clients and integrates an adaptive mechanism to amplify the discrepancy between the aggregated model and the poisoned ones, effectively eliminating embedded backdoors. We also conduct a theoretical analysis of convergence to confirm that G$^2$uardFL does not affect the convergence of FL systems. Through empirical evaluation, comparing G$^2$uardFL with cutting-edge defenses, such as FLAME (USENIX Security 2022) [28] and DeepSight (NDSS 2022) [36], against various backdoor attacks including 3DFed (SP 2023) [20], our results demonstrate its significant effectiveness in mitigating backdoor attacks while having a negligible impact on the aggregated model's performance on benign samples (i.e., the primary task performance). For instance, in an FL system with 25% malicious clients, G$^2$uardFL reduces the attack success rate to 10.61%, while maintaining a primary task performance of 73.05% on the CIFAR-10 dataset. This surpasses the performance of the best-performing baseline, which merely achieves a primary task performance of 19.54%.

연구 동기 및 목표

• 연합 학습에서 데이터 공유 없이 백도어 취약점을 해결한다.
• 그래프 기반의 클라이언트 관계를 이용해 이상 탐지의 한계를 극복한다.
• 저차원 특징을 가진 속성 그래프 클러스터링으로 악성 클라이언트 탐지를 재구성한다.
• 백도어가 이미 삽입된 경우에도 수렴을 보존하면서 적응형으로 제거하는 메커니즘을 제공한다.

제안 방법

• 저차원 클라이언트 특징 및 모델 업데이트로부터 속성 있는 인터-클라이언트 그래프를 구성한다.
• 정규화 후 결합하기 전에 서로 다른 오염 패턴을 포착하기 위해 세 가지 인접 행렬(E1, E2, E3)을 사용한다.
• 샘플링된 서브그래프에서 그래프 오토인코더 기반 클러스터링을 적용해 클라이언트를 클러스터로 그룹화한다.
• 악성 클러스터의 영향을 식별하고 제한하기 위해 정상 점수로 동적 필터링 및 클리핑을 도입한다.
• 백도어가 탐지되면 글로벌 모델을 정상 방향으로 유도하기 위해 적응형 오염 제거 모듈을 도입한다.
• G2uardFL 하에서 연합 학습의 수렴을 보장하여 수렴 거동의 저하가 없음을 입증한다.

실험 결과

연구 질문

• RQ1 G2uardFL이 다양한 백도어 공격 유형(데이터 오염, 모델 오염 또는 둘 다)에 대해 악성 클라이언트를 정확히 식별할 수 있는가?
• RQ2 속성 그래프 클러스터링 방어를 적용해 글로벌 모델의 benign 데이터에 대한 주된 태스크 성능이 보존되는가?
• RQ3 다양한 백도어 공격 시나리오에서 G2uardFL의 성능이 최첨단 방어책과 비교해 어떤가?
• RQ4 라운드에 참여하는 악성 클라이언트의 수가 달라질 때 방어가 견고한가?
• RQ5 적응형 오염 제거 메커니즘이 시간이 지남에 따라 삽입된 백도어를 효과적으로 제거하는가?

주요 결과

• G2uardFL은 baselines에 비해 다양한 데이터셋 및 공격 시나리오에서 백도어 공격을 크게 완화한다.
• 공격자 클라이언트가 25%인 FL 시스템에서 공격 성공률을 10.61%로 감소시킨다.
• 25% 악성 설정에서 CIFAR-10의 기본 태스크 성능을 73.05%로 유지하며, 최고 baselines인 19.54%를 능가한다.
• 프레임워크는 FL 수렴에 영향을 주지 않는 수렴 분석을 제공한다.
• G2uardFL은 보고된 시나리오에서 FLAME 및 DeepSight와 같은 최첨단 방어책보다 우수한 성능을 보인다.
• 이 접근법은 저차원 클라이언트 표현과 속성 그래프 관계를 활용하여 다양한 백도어 유형을 처리한다.