[논문 리뷰] Dynamic backdoor attacks against federated learning

Anbu Huang|arXiv (Cornell University)|2020. 11. 15.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 13

한 줄 요약

이 논문은 메타학습을 배경으로 삼아 백도어 주입을 통합함으로써 연합 학습에서 동적 백도어 공격를 위한 최초의 프레임워크를 제안한다. 이는 악성 클라이언트가 재학습이 최소한으로 필요한 상태에서 새로운 공격 대상에 신속히 적응할 수 있도록 한다. 제안된 상호작용 네트워크는 메인 태스크 정확도를 유지하면서도 높은 백도어 성공률(예: MNIST에서 최대 98.7%)을 달성하여 연합 학습의 모델 집약 제약 조건 하에서 지속적이고 적응적인 오염을 실현한다.

ABSTRACT

Federated Learning (FL) is a new machine learning framework, which enables millions of participants to collaboratively train machine learning model without compromising data privacy and security. Due to the independence and confidentiality of each client, FL does not guarantee that all clients are honest by design, which makes it vulnerable to adversarial attack naturally. In this paper, we focus on dynamic backdoor attacks under FL setting, where the goal of the adversary is to reduce the performance of the model on targeted tasks while maintaining a good performance on the main task, current existing studies are mainly focused on static backdoor attacks, that is the poison pattern injected is unchanged, however, FL is an online learning framework, and adversarial targets can be changed dynamically by attacker, traditional algorithms require learning a new targeted task from scratch, which could be computationally expensive and require a large number of adversarial training examples, to avoid this, we bridge meta-learning and backdoor attacks under FL setting, in which case we can learn a versatile model from previous experiences, and fast adapting to new adversarial tasks with a few of examples. We evaluate our algorithm on different datasets, and demonstrate that our algorithm can achieve good results with respect to dynamic backdoor attacks. To the best of our knowledge, this is the first paper that focus on dynamic backdoor attacks research under FL setting.

연구 동기 및 목표

• 공격 대상이 시간이 지남에 따라 변화하는 연합 학습 환경에서 동적 백도어 공격에 대한 연구 격차를 해소하기 위해.
• 연합 학습 환경에서 각 새로운 공격 대상에 대해 다시 학습을 시작하는 데에 낭비되는 비효율성을 해결하기 위해.
• 악성 클라이언트가 이전 경험을 바탕으로 새로운 백도어 패턴에 신속히 적응할 수 있는 방법을 개발하기 위해.
• 높은 성능의 메인 태스크 성능을 유지하면서도 목표로 한 백도어 공격을 성공적으로 수행하기 위해.

제안 방법

• 메타학습을 연합 평균화와 통합하여 새로운 백도어 작업에 대한 신속한 적응을 가능하게 하였다.
• 이전 공격 에피소드에서의 경험을 바탕으로 로컬 모델이 학습하고 새로운 대상으로 일반화할 수 있도록 상호작용 네트워크를 설계하였다.
• 식 (8)에 제시된 메타 최적화 업데이트 규칙을 사용하여 클라이언트 업데이트를 바탕으로 전역 모델 파라미터를 조정함으로써 적응 속도를 향상시켰다.
• 동적 오염 패턴(예: 'KDD' 텍스트)을 클라이언트 데이터에 삽입하여 에피소드 간에 변화시킴으로써 실제 세계의 적응성을 시뮬레이션하였다.
• 기존 FedAvg 알고리즘을 약간 수정하여 메타학습을 통합함으로써 표준 연합 학습 프레임워크와의 호환성을 유지하였다.
• 클라이언트 간 데이터 분할에 딜리클리 분포를 적용하여 악성 클라이언트에게 약 12%의 데이터를 오염된 상태로 할당하였다.

실험 결과

연구 질문

• RQ1 연합 학습에서 다시 학습을 시작하지 않고도 동적으로 변화하는 공격 대상에 적응 가능한 백도어 공격는 어떻게 설계할 수 있는가?
• RQ2 메타학습을 효과적으로 활용하여 최소한의 예시로도 연합 학습 환경에서 백도어 모델의 신속한 적응을 이룰 수 있는가?
• RQ3 제안된 방법은 높은 백도어 성공률을 달성하면서도 메인 태스크 성능을 어떻게 유지하는가?
• RQ4 모델 집약이 백도어 지속성에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 상호작용 네트워크는 MNIST에서 최대 98.7%의 백도어 공격 성공률를 기록하여 수동 오염 패턴 삽입 방식을 크게 능가하였다.
• 메타학습을 통한 적응 덕분에 모델 집약 조건 하에서도 백도어 정확도가 안정적이고 지속적으로 유지되었다.
• 메타학습 접근법은 더 적은 학습 라운드로 FedAvg와 유사한 백도어 성능을 달성하여 새로운 공격 패턴에 대한 빠른 적응 능력을 입증하였다.
• 메인 태스크 정확도는 최소한의 영향을 받았으며, CIFAR-10에서는 94% 이상, Tiny ImageNet에서는 85% 이상의 정확도를 기록하여 도용성(stealthiness)을 입증하였다.
• 에피소드 2에서 'KDD' 텍스트 삽입과 같은 새로운 오염 패턴에 몇 번의 업데이트만으로도 성공적으로 적응하여 표준 FedAvg를 능가하였다.
• 이론적 분석을 통해 이 프레임워크가 세 가지 핵심 목표인 지속성, 적응성, 메인 태스크 성능을 모두 충족함을 확인하였다.