[논문 리뷰] Backdoor Defense in Federated Learning Using Differential Testing and Outlier Detection

Yein Kim, Huili Chen외 1명|arXiv (Cornell University)|2022. 02. 21.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

DifFense는 백도어 공격에 대한 새로운 피드백 러닝 방식으로, 차등 테스팅을 사용해 모델 간 행동 차이를 극대화하는 악성 입력을 생성하고, 이중 단계 MAD 이질적 탐지 기법을 적용하여 악성 업데이트를 식별한다. 공격 패tern에 대한 사전 지식 없이도 백도어 정확도를 4% 이하로 낮추며 근사적으로 0%의 거짓 음성 비율을 달성하면서도, FedAvg와 유사한 전역 모델 정확도를 유지한다. 다양한 공격 시나리오에서도 성능이 뛰어나다.

ABSTRACT

The goal of federated learning (FL) is to train one global model by aggregating model parameters updated independently on edge devices without accessing users' private data. However, FL is susceptible to backdoor attacks where a small fraction of malicious agents inject a targeted misclassification behavior in the global model by uploading polluted model updates to the server. In this work, we propose DifFense, an automated defense framework to protect an FL system from backdoor attacks by leveraging differential testing and two-step MAD outlier detection, without requiring any previous knowledge of attack scenarios or direct access to local model parameters. We empirically show that our detection method prevents a various number of potential attackers while consistently achieving the convergence of the global model comparable to that trained under federated averaging (FedAvg). We further corroborate the effectiveness and generalizability of our method against prior defense techniques, such as Multi-Krum and coordinate-wise median aggregation. Our detection method reduces the average backdoor accuracy of the global model to below 4% and achieves a false negative rate of zero.

연구 동기 및 목표

• 기존 피드백 러닝 방어 기법의 한계를 해결하기 위해, 공격 시나리오에 대한 사전 지식이 필요하거나 높은 거짓 양성/음성 비율을 야기하는 경우가 많다는 점을 해결한다.
• 정상 클라이언트가 악성 클라이언트보다 많다는 가정을 포함해 최소한의 가정으로도 작동하는 일반화 가능한 방어 메커니즘을 개발한다.
• 로컬 모델 파라미터나 가중치에 접근할 수 없어도 백도어 공격을 탐지할 수 있도록 하여 암호화되거나 프라이버시를 보존하는 피드백 러닝 시스템과의 호환성을 높인다.
• 모델 업데이트 필터링 시 거짓 양성 비율을 낮추면서도 모든 악성 업데이트를 탐지함으로써 전역 모델 정확도를 유지한다.
• 수렴성과 성능을 유지하면서 다양한 수의 악성 공격자와 데이터 분포에 대응할 수 있는 강력하고 자동화된 방어 프레임워크를 제공한다.

제안 방법

• 차등 테스팅을 사용해 클라이언트 간 모델 예측의 차이를 극대화하는 합성 입력을 생성하고, 로컬 모델 출력 기반의 '테스트 통계'를 생성한다.
• 이러한 차등 입력에 대한 예측 차이를 계산하여 백도어 행동을 암시하는 이질성을 탐지한다.
• 이중 단계 MAD 이질적 탐지 기법을 도입: 첫 번째로 수정된 MAD 알고리즘을 사용해 잠재적 이질적 데이터를 식별하고, 두 번째로 정교한 임계값 설정 단계를 통해 거짓 양성 비율을 감소시킨다.
• 프레임워크는 집계 이전에 작동하여, 차등 테스트 반응의 통계적 이질성에 기반해 악성 업데이트를 필터링한다.
• 모델 가중치나 기울기를 접근할 필요가 없어, 암호화된 피드백 러닝 시스템과 호환된다.
• 데이터 분포나 공격 패턴에 관계없이 작동하도록 설계되어, 비독립 동일 분포(non-IID) 및 불균형 피드백 러닝 환경에서도 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 공격 패턴에 대한 사전 지식 없이도 모델 파rameter에 접근하지 않고 백도어 공격을 탐지할 수 있는 방어 기법은 가능한가?
• RQ2 차등 테스팅은 정상 모델과 악성 모델 간 행동 차이를 백도어 탐지에 있어 극대화하는 데 얼마나 효과적인가?
• RQ3 이중 단계 MAD 이질적 탐지 기법은 기존의 단일 또는 이중 MAD 변종 대비 피드백 러닝 환경에서 거짓 양성 및 음성 비율을 줄일 수 있는가?
• RQ4 DifFense의 성능은 다양한 수의 악성 클라이언트에서 FedAvg, Multi-Krum, CooMed와 비교해 어떻게 나타나는가?
• RQ5 차등 이미지의 수와 그들이 유래된 클래스의 수가 탐지 정확도와 모델 수렴에 영향을 미치는가?

주요 결과

• DifFense는 전역 모델의 평균 백도어 정확도를 4% 이하로 낮추며, FedAvg, Multi-Krum, CooMed를 크게 능가한다.
• 모든 테스트 시나리오에서 거짓 음성 비율이 0%를 기록하여 모든 악성 업데이트가 탐지됨을 보장한다.
• 평균 거짓 양성 비율이 7% 이하로 유지되어, 다수의 악성 공격자 존재하에서도 FedAvg와 유사한 높은 전역 모델 정확도를 유지를 한다.
• 이중 단계 MAD 이질적 탐지 기법은 거짓 음성 비율이 0%이며, 거짓 양성 비율을 7% 이하로 억제하여 단일 및 이중 MAD 변종보다 뛰어난 성능을 보인다.
• 차등 이미지의 수나 그들이 유래된 클래스의 수에 관계없이 성능이 안정적이며, 전역 정확도가 항상 89% 이상을 유지한다.
• 민감도 분석 결과, 단일 클래스에서 유래한 20장의 차등 이미지만으로도 DifFense는 거짓 양성 비율을 9% 이하로 유지하고 거짓 음성 비율은 0%로 유지한다.