[논문 리뷰] Back to the Drawing Board: A Critical Evaluation of Poisoning Attacks on Production Federated Learning

Virat Shejwalkar, Amir Houmansadr외 2명|arXiv (Cornell University)|2021. 08. 23.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

이 논문은 실용적인 연합 학습(FL) 환경에서의 무타겟화된 품질 훼손 공격을 철저히 평가하며, 실질적인 위협 모델 조건에서도 FL가 매우 강건함을 입증한다. 세 가지 벤치마크에서 광범위한 실험을 통해, FedAvg와 같은 단순한 방어 기법이 최신 공격 기법들에 효과적으로 대응함을 보이며, 이전에 FL의 취약성에 대해 내재된 가정을 도전하고, FL 강건성에 대한 실용적인 연구를 촉진한다.

ABSTRACT

While recent works have indicated that federated learning (FL) may be vulnerable to poisoning attacks by compromised clients, their real impact on production FL systems is not fully understood. In this work, we aim to develop a comprehensive systemization for poisoning attacks on FL by enumerating all possible threat models, variations of poisoning, and adversary capabilities. We specifically put our focus on untargeted poisoning attacks, as we argue that they are significantly relevant to production FL deployments. We present a critical analysis of untargeted poisoning attacks under practical, production FL environments by carefully characterizing the set of realistic threat models and adversarial capabilities. Our findings are rather surprising: contrary to the established belief, we show that FL is highly robust in practice even when using simple, low-cost defenses. We go even further and propose novel, state-of-the-art data and model poisoning attacks, and show via an extensive set of experiments across three benchmark datasets how (in)effective poisoning attacks are in the presence of simple defense mechanisms. We aim to correct previous misconceptions and offer concrete guidelines to conduct more accurate (and more realistic) research on this topic.

연구 동기 및 목표

• 실제 위협 모델을 분석함으로써 무타겟화된 품질 훼손 공격이 연합 학습에 미치는 실제 영향을 재평가하는 것.
• FL이 품질 훼손에 매우 취약하다는 일반적인 믿음을 도전하며, 현실적인 조건에서의 강건성을 입증하는 것.
• 적대자의 목표, 지식, 능력에 기반해 FL 품질 훼손에 대한 위협 모델을 체계화하는 것.
• 기존의 최신 데이터 및 모델 품질 훼손 공격의 효과성을 실용적인 설정에서 단순한 방어 기법과 함께 평가하는 것.
• 이론적 가정을 넘어서, 향후 FL 강건성 연구를 위한 구체적이고 실용적인 지침을 제공하는 것.

제안 방법

• 적대자의 목표, 지식, 능력의 세 가지 차원을 사용해 품질 훼손 위협 모델을 시스템적으로 분류하는 것.
• 실제로 관련성이 높은 두 가지 위협 모델에 집중: nobox 오프라인 데이터 품질 훼손 및 화이트박스 온라인 모델 품질 훼손.
• 실용적인 FL 환경에 맞게 최신의 무타겟화된 데이터 및 모델 품질 훼손 공격을 설계하는 것.
• 다양한 클라이언트 참가율과 현실적인 클라이언트 침해 비율을 포함한 현실적인 조건에서 공격를 구현하고 평가하는 것.
• 표준 집계 규칙인 FedAvg를 사용하고, 깨끗한 레이블 및 뒷도어 스타일의 데이터 품질 훼손 조건에서 강건성을 평가하는 것.
• 세 가지 기준 데이터셋(CIFAR-10, FEMNIST, Shakespeare)에서 크로스디바이스 및 크로스실 FL 환경에서 광범위한 실험을 수행하는 것.

실험 결과

연구 질문

• RQ1 단순한 방어 기법이 적용된 현실적인 실용적 연합 학습 환경에서 무타겟화된 품질 훼손 공격의 효과성은 어떠한가?
• RQ2 실제 구현 환경에서 실현 가능한 FL 품질 훼손 위협 모델은 무엇인가?
• RQ3 FedAvg와 같은 표준 집계 규칙이 실용적 설정에서 품질 훼손 공격의 영향을 어느 정도 완화하는가?
• RQ4 클라이언트 참가의 다양성과 클라이언트 침해 비율은 품질 훼손 공격의 성공에 어떤 영향을 미치는가?
• RQ5 기존의 이론적 강건성 보장이 실제 FL 시스템에 적용되었을 때의 한계는 무엇인가?

주요 결과

• 무타겟화된 품질 훼손 공격는 최신 공격 기법을 사용하더라도 실용적 FL 환경에서는 대부분 효과가 없다.
• FedAvg와 같은 단순한 방어 기법이 강력한 강건성을 제공하여, 평가된 모든 벤치마크에서 공격 성공률이 거의 0에 수렴한다.
• 크로스실 FL 환경에서는 1%의 클라이언트가 침해된 경우조차도, 유해한 클라이언트의 수가 많아지지 않아 품질 훼손 공격의 영향은 극히 미미하다.
• 침해된 클라이언트가 실에 집중적으로 분포되어 있더라도, 집계 평균화 효과로 인해 공격 성공률이 크게 증가하지 않는다.
• 모델 품질 훼손 공격는 크로스실 FL 환경에서 실현 가능하지 않다. 이는 기업 인프라에 장기간 지속적인 액세스가 필요하기 때문이며, 실제로는 이는 매우 이질적인 일이다.
• 문헌에서 25%의 클라이언트가 침해된다고 가정하는 것은 대규모 시스템인 Gboard와 같은 환경에서는 현실적이지 않다. 이는 2.5억台의 기기 제어를 의미하기 때문이다.