[논문 리뷰] Back to the Drawing Board: A Critical Evaluation of Poisoning Attacks on Federated Learning.

Virat Shejwalkar, Amir Houmansadr외 2명|arXiv (Cornell University)|2021. 08. 23.

Adversarial Robustness in Machine Learning참고 문헌 59인용 수 11

한 줄 요약

이 논문은 현실적인 위협 모델 하에서 연합 학습(FL)의 오염 공격을 철저히 평가하며, 이전에 생각했던 것보다 FL이 실질적으로 훨씬 더 강건함을 입증한다. 실질적 제약 조건 하에서 최신 기술 수준의 새로운 공격을 제안하고, 심지어 기본적인 방어 기법들조차도 공격의 효과를 크게 감소시킴으로써 문헌에서 오랫동안 지속된 가정을 도전한다.

ABSTRACT

While recent works have indicated that federated learning (FL) is vulnerable to poisoning attacks by compromised clients, we show that these works make a number of unrealistic assumptions and arrive at somewhat misleading conclusions. For instance, they often use impractically high percentages of compromised clients or assume unrealistic capabilities for the adversary. We perform the first critical analysis of poisoning attacks under practical production FL environments by carefully characterizing the set of realistic threat models and adversarial capabilities. Our findings are rather surprising: contrary to the established belief, we show that FL, even without any defenses, is highly robust in practice. In fact, we go even further and propose novel, state-of-the-art poisoning attacks under two realistic threat models, and show via an extensive set of experiments across three benchmark datasets how (in)effective poisoning attacks are, especially when simple defense mechanisms are used. We correct previous misconceptions and give concrete guidelines that we hope will encourage our community to conduct more accurate research in this space and build stronger (and more realistic) attacks and defenses.

연구 동기 및 목표

• 이전 연구에서 오랫동안 널리 믿어온 바와 같이 연합 학습이 오염 공격에 매우 취약하다는 믿음을 도전하기 위해, 이전 연구에서의 잘못된 가정을 규명하는 것.
• 실제 FL 구현 환경에서의 현실적인 위협 모델과 악성 공격자의 능력을 정의하고 분석하는 것.
• 이러한 현실적인 조건 하에서 오염 공격의 효과성을 평가하고, 단순한 방어 기법이 미치는 영향도 분석하는 것.
• 문헌에서 오랫동안 잘못된 인식이 있었던 점을 바로잡고, 향후 현실적인 공격과 방어 기법에 대한 실질적인 지침을 제공하는 것.
• 실제 공격 시나리오에서 가능한 한, 방어 기법이 없더라도 FL이 강력한 강건성을 보임을 입증하는 것.

제안 방법

• 저자들은 제한된 클라이언트 접근과 제약된 모델 조작 능력이라는 현실적인 위협 모델 하에서 두 가지 새로운 오염 공격 프레임워크를 설계하였다.
• CIFAR-10, FEMNIST, Shakespeare 등의 세 가지 벤치마크 데이터셋을 대상으로, 다양한 클라이언트 접근 비율과 방어 기법 조건 하에서 공격 성공률를 평가하기 위해 광범위한 실험을 수행하였다.
• 공격 효율성에 미치는 일반적인 방어 기법(예: 모델 평균화 및 강건한 집계)의 영향을 체계적으로 평가하였다.
• 위협 모델은 실제 연합 학습 구현 시 제약 조건에 기반하여 설계되었으며, 글로벌 모델 업데이트에 대한 제한된 액세스와 클라이언트 데이터에 대한 제한된 제어 능력을 반영하였다.
• 저자들은 다양한 클라이언트 접근 비율과 모델 아키텍처 조건에서 공격 성능을 비교하기 위해 경험적 평가를 수행하였다.
• 악성 학습 하에서 공격 성공률, 모델 정확도 저하, 수렴 동작 등을 측정하여 FL의 강건성을 분석하였다.

실험 결과

연구 질문

• RQ1 실제 공격자의 능력과 현실적인 위협 모델을 고려할 때, 연합 학습에서 오염 공격의 효과는 어떠한가?
• RQ2 실제 FL 환경에서, 손상된 클라이언트의 수가 공격 성공률에 얼마나 큰 영향을 미치는가?
• RQ3 모델 평균화나 강건한 집계와 같은 단순한 방어 기법이 현실 조건 하에서 오염 공격을 얼마나 효과적으로 완화하는가?
• RQ4 이전 연구에서 공격 효과가 과도하게 과대평가되는 데 기여하는 주요 가정은 무엇인가?
• RQ5 실제 제약 조건 하에서도 효과적인 새로운 최신 기술 수준의 오염 공격을 개발할 수 있는가?

주요 결과

• 실제 위협 모델을 적용할 경우, 이전에 보고된 것보다 연합 학습에서의 오염 공격이 훨씬 덜 효과적임을 입증하였다.
• 심지어 손상된 클라이언트 비율이 높은 경우(예: 30%)라도, 실질적 제약 조건 하에서는 공격 성공률가 크게 감소함을 확인하였다.
• 모델 평균화나 강건한 집계와 같은 단순한 방어 기법이 여러 벤치마크 데이터셋에서 공격 성공률를 80% 이상 감소시킴을 확인하였다.
• 이 연구는 이전 연구들이 종종 클라이언트 업데이트에 대한 완전한 제어나 모델 파라미터에 무제한 액세스가 가능하다는 비현실적인 가정에 의존하고 있음을 드러냈다.
• 실제 공격 시나리오 하에서, 방어 기법이 없더라도 FL은 강력한 내재적 강건성을 보임을 입증하였다.
• 제안된 새로운 공격은 동일한 현실적 제약 조건 하에서도 이전 방법보다 더 높은 성공률를 기록하였으며, 실질적 오염 공격의 최신 기술 수준을 확립하였다.