[논문 리뷰] Local Model Poisoning Attacks to Byzantine-Robust Federated Learning

Minghong Fang, Xiaoyu Cao외 2명|arXiv (Cornell University)|2019. 11. 26.

Adversarial Robustness in Machine Learning참고 문헌 66인용 수 174

한 줄 요약

이 논문은 Byzantine-robust 페더레이티드 러닝에 대한 로컬 모델 포이즈닝의 최초의 체계적 연구를 제시하고, 네 가지 집계 규칙에 대한 최적화 기반 공격을 제안하며, 방어책의 효율성을 혼재된 결과로 평가한다.

ABSTRACT

In federated learning, multiple client devices jointly learn a machine learning model: each client device maintains a local model for its local training dataset, while a master device maintains a global model via aggregating the local models from the client devices. The machine learning community recently proposed several federated learning methods that were claimed to be robust against Byzantine failures (e.g., system failures, adversarial manipulations) of certain client devices. In this work, we perform the first systematic study on local model poisoning attacks to federated learning. We assume an attacker has compromised some client devices, and the attacker manipulates the local model parameters on the compromised client devices during the learning process such that the global model has a large testing error rate. We formulate our attacks as optimization problems and apply our attacks to four recent Byzantine-robust federated learning methods. Our empirical results on four real-world datasets show that our attacks can substantially increase the error rates of the models learnt by the federated learning methods that were claimed to be robust against Byzantine failures of some client devices. We generalize two defenses for data poisoning attacks to defend against our local model poisoning attacks. Our evaluation results show that one defense can effectively defend against our attacks in some cases, but the defenses are not effective enough in other cases, highlighting the need for new defenses against our local model poisoning attacks to federated learning.

연구 동기 및 목표

• 데이터 포이즈닝을 넘어선 연합 학습의 무결성 위협 연구를 고취한다.
• 학습 과정을 겨냥하는 로컬 모델 포이즈닝을 최적화 문제로 공식화한다.
• 실제 데이터셋에서 네 가지 Byzantine-robust 집계 규칙에 걸쳐 공격을 평가한다.
• 이러한 공격에 대한 일반화된 방어의 효과를 평가한다.

제안 방법

• 전역 편차를 최대화하도록 손상된 로컬 모델을 설계하는 최적화 문제로 공격을 모델링한다.
• 네 가지 집계 규칙(Krum, Bulyan, trimmed mean, and median)을 공격한다.
• 전부 지식(full) 및 부분 지식(partial knowledge) 하에서 Krum 최적화를 해결하기 위한 두 가지 근사 방법을 개발한다.
• 데이터 포이즈닝에서의 방어(RONI, TRIM-영감)를 확장하여 집계 전에 손상된 로컬 모델을 거부한다.
• 공격자가 정상 모델 세부 정보를 모르는 부분 지식 시나리오에 대한 전략을 제공한다.
• MNIST, Fashion-MNIST, CH-MNIST, 및 Breast Cancer Wisconsin 데이터셋에서 공격 효율성과 방어 성능을 평가한다.

실험 결과

연구 질문

• RQ1 손상된 작업자에서의 로컬 모델 포이즈닝이 Byzantine-강건 페더레이티드 러닝의 성능을 상당히 악화시킬 수 있는가?
• RQ2 로컬 모델 포이즈닝 공격에 직면했을 때 기존 데이터 포이즈닝 방어책은 얼마나 효과적인가?
• RQ3 제안된 공격이 서로 다른 Byzantine-강건 집계 규칙(Krum, Bulyan, trimmed mean, median) 간에 전이되는가?
• RQ4 로컬 모델 포이즈닝에 가장 효과적인 방어 적응(ERR, LFR)은 무엇이며, 어디에서 실패하는가?

주요 결과

• 공격은 강건한 집계에서 전역 모델 오차율을 상당히 증가시킬 수 있다(예: Krum으로 MNIST의 오차율이 0.11에서 0.75로 상승).
• 두 가지 공격 형식(지시된 편차와 편차)이 효과를 보이며, 지시된 편차가 trimmed mean과 median에서 더 우수하다.
• 데이터 포이즈닝 방어(RONI-영감 및 TRIM-영감)은 일부 상황에서 제한적인 보호를 제공하고, 다른 상황에서는 효과가 없어서 새로운 방어책의 필요성을 시사한다.
• 손실 함수 기반 거부(LFR)가 다수의 경우 ERR보다 우수하지만, 어느 규칙에서도 보편적으로 효과적이진 않다.
• 공격은 집계 규칙과 지식 상황 간에 전이성을 보여 단일 방어책을 넘어서는 더 넓은 위협 함의를 시사한다.