[논문 리뷰] Mitigating Sybil Attacks on Differential Privacy based Federated Learning

Yupeng Jiang, Yong Li외 2명|arXiv (Cornell University)|2020. 10. 20.

Privacy-Preserving Technologies in Data참고 문헌 32인용 수 6

한 줄 요약

이 논문은 차별적 비밀보장 기반 분산 학습에 대한 첫 번째 시빌 공격을 제안한다. 악성 클라이언트들이 개인 정보 보호 예산 ε에 연계된 맞춤형 노이즈 수준을 사용해 국소 모델 업데이트를 조작함으로써 글로벌 모델의 수렴을 악화시킨다. 이에 따라 수렴과 정확도를 복원할 수 있도록 고려된 손실이 높은 클라이언트 업데이트를 탐지하고 필터링하는 방어 기법을 도입한다.

ABSTRACT

In federated learning, machine learning and deep learning models are trained globally on distributed devices. The state-of-the-art privacy-preserving technique in the context of federated learning is user-level differential privacy. However, such a mechanism is vulnerable to some specific model poisoning attacks such as Sybil attacks. A malicious adversary could create multiple fake clients or collude compromised devices in Sybil attacks to mount direct model updates manipulation. Recent works on novel defense against model poisoning attacks are difficult to detect Sybil attacks when differential privacy is utilized, as it masks clients' model updates with perturbation. In this work, we implement the first Sybil attacks on differential privacy based federated learning architectures and show their impacts on model convergence. We randomly compromise some clients by manipulating different noise levels reflected by the local privacy budget epsilon of differential privacy on the local model updates of these Sybil clients such that the global model convergence rates decrease or even leads to divergence. We apply our attacks to two recent aggregation defense mechanisms, called Krum and Trimmed Mean. Our evaluation results on the MNIST and CIFAR-10 datasets show that our attacks effectively slow down the convergence of the global models. We then propose a method to keep monitoring the average loss of all participants in each round for convergence anomaly detection and defend our Sybil attacks based on the prediction cost reported from each client. Our empirical study demonstrates that our defense approach effectively mitigates the impact of our Sybil attacks on model convergence.

연구 동기 및 목표

• 차별적 비밀보장 기반 분산 학습의 시빌 공격에 대한 취약성을 조사하는 것.
• 악성 클라이언트들이 개인 정보 보호 예산 ε에 연계된 노이즈 수준을 사용해 국소 업데이트를 조작하여 글로벌 모델의 수렴을 악화시킬 수 있는지 보여주는 것.
• 수렴을 복원하기 위해 손실이 높은 클라이언트 업데이트를 탐지하고 제외하는 방어 기법을 설계하는 것.
• MNIST 및 CIFAR-10 데이터셋에서 Krum, Trimmed Mean, FedAvg 등의 다양한 집계 규칙 하에서 시빌 공격에 대한 방어의 효과를 평가하는 것.

제안 방법

• 각 클라이언트의 국소 개인 정보 보호 예산 ε에 기반해 노이즈 수준을 조작하여 시빌 클라이언트의 국소 모델 업데이트를 제작함으로써 높은 예측 비용을 유도한다.
• 각 훈련 라운드에서 각 클라이언트가 보고하는 평균 예측 손실을 모니터링하여 이질적인 패턴을 탐지한다.
• 글로벌 모델에서 비정상적으로 높은 손실 값을 유도하는 클라이언트 업데이트를 식별하고 제외한다.
• 집계 이전에 이러한 고손실 업데이트를 필터링하여 방어를 적용한다.
• Krum, Trimmed Mean, FedAvg를 집계 규칙으로 사용하여 방어의 강건성을 평가한다.
• 비교를 위해 가우시안 노이즈 주입을 베이스라인 공격으로 활용한다.

실험 결과

연구 질문

• RQ1 시빌 공격는 차별적 비밀보장 기반 분산 학습 모델의 수렴을 효과적으로 악화시킬 수 있는가?
• RQ2 제안된 방어 기법은 DP 기반 분산 학습에서 시빌 공격을 어떻게 탐지하고 완화하는가?
• RQ3 차별적 비밀보장이 적용된 상황에서 강건한 집계 규칙(Krum, Trimmed Mean)이 제안된 시빌 공격에 얼마나 저항하는가?
• RQ4 시빌 공격 하에서 방어 기법이 기준 수준에 가까운 정확도로 모델 정확도를 복원할 수 있는가?
• RQ5 다양한 모델 아키텍처(CNN, MLP)와 데이터셋(MNIST, CIFAR-10)에서 공격 및 방어 기법의 성능은 어떻게 나타나는가?

주요 결과

• 제안된 시빌 공격은 CNN 모델에서 MNIST에 대해 Krum 기준으로 오차율을 3%에서 14%로 상승시키고, Trimmed Mean 기준으로는 85%로 상승시킨다.
• MLP 모델에서는 Trimmed Mean 기준으로 공격 시 오차율이 65%로 상승하지만, 방어 기법을 적용하면 정확도가 59%로 복원된다(기준: 59%).
• 공격는 특히 높은 노이즈 수준에서 FedAvg와 Trimmed Mean의 수렴 속도를著しく 저하시키거나 발산으로 이끈다.
• 방어 기법은 CNN 모델에서 오차율을 3%로, MLP 모델에서 59%로 복원하여 공격 없이 상태의 기준 수준과 일치시킨다.
• Krum과 Trimmed Mean는 제안된 공격에 대해 효과적인 방어 수단이 되지 못하지만, 제안된 방어 기법은 높은 정확도를 유지한다.
• 수렴 곡선을 통해 공격가 FedAvg, Krum, Trimmed Mean 모두에서 모델 수렴이著しく 느려지거나 방해받는 것으로 나타났다.