[논문 리뷰] Learning to Backdoor Federated Learning

Henger Li, Wu Chen외 2명|arXiv (Cornell University)|2023. 03. 06.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 강화학습(RL) 기반의 백도어 공격 프레임워크를 제안하며, 로컬 데이터와 시스템 지식을 사용하여 시뮬레이션 환경에서 적응적이고 비단기적인 공격 정책을 훈련한다. 이 방법은 최상위 수준의 훈련 단계 방어(예: Krum, Median, 노름 경계)와 후기 훈련 방어(예: 뉴런 클리핑, 프루닝) 모두에서 거의 완벽한 백도어 정확도(최대 100%)를 달성하고, 기존의 공격 방식인 BFL, DBA, Anticipate를 능가하는 내구성을 보인다.

ABSTRACT

In a federated learning (FL) system, malicious participants can easily embed backdoors into the aggregated model while maintaining the model's performance on the main task. To this end, various defenses, including training stage aggregation-based defenses and post-training mitigation defenses, have been proposed recently. While these defenses obtain reasonable performance against existing backdoor attacks, which are mainly heuristics based, we show that they are insufficient in the face of more advanced attacks. In particular, we propose a general reinforcement learning-based backdoor attack framework where the attacker first trains a (non-myopic) attack policy using a simulator built upon its local data and common knowledge on the FL system, which is then applied during actual FL training. Our attack framework is both adaptive and flexible and achieves strong attack performance and durability even under state-of-the-art defenses.

연구 동기 및 목표

• 기존의 백도어 공격가 연합 학습에서 단기적이고 고도의 방어에 효과적이지 못한 한계를 해결하기 위해.
• 훈련 단계의 집계 방어와 후기 훈련 완화 기법을 모두 약화시킬 수 있는 더 적응력 있고 내구성이 높은 백도어 공격을 개발하기 위해.
• 현재의 방어 조치가 지능적이고 장기적인 공격 전략에 의해 예측 가능한 시스템 반응을 고려할 경우 부족함을 드러내고 있음을 입증하기 위해.
• 강화학습을 사용하여 공격 초모수를 동적으로 최적화함으로써 공격 성능과 은폐성을 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 백도어 공격를 마르코프 결정 과정(MDP)으로 공식화하여, 공격자가 주 작업과 백도어 작업의 장기 보상 최대화를 위한 정책을 학습하도록 한다.
• 로컬 데이터와 시스템 지식을 사용하여 시뮬레이터(세계 모델)를 구축하여 FL 환경을 모의하고 제어된 환경에서 공격 정책을 훈련한다.
• 딥 강화학습을 사용하여 두 단계의 공격 초모수를 동시에 최적화한다: (1) 모델 업데이트 전략, (2) 백도어 주입을 위한 가중치 조정.
• 행동 공간을 압축하고 효율성을 향상시키면서도 높은 공격 성능를 유지하기 위해 더블 워밍미 백도어 공격(DWBA)을 구현한다.
• 보상 함수에 방어 행동(예: Krum, Median, 뉴런 클리핑)을 통합하여 향후 시스템 반응에 대비한 공격의 강건성을 확보한다.
• 훈련된 RL 정책을 실제 FL 훈련에 적용하며, 탐지 회피를 위해 선택적 노이즈 주입을 수행한다.

실험 결과

연구 질문

• RQ1 강력한 집계 및 후기 훈련 방어 조치가 적용된 연합 학습 환경에서 강화학습 기반 공격가 히وري스틱 기반 백도어 공격를 능가할 수 있는가?
• RQ2 후기 훈련 방어 조치가 적용된 상황에서 강화학습 기반 백도어 공격의 내구성은 기존 공격 방식과 비교해 어떻게 되는가?
• RQ3 강화학습 에이전트가 Krum과 Median과 같은 강력한 집계 규칙의 행동을 예측하고 적응할 수 있는 정도는 어느 정도인가?
• RQ4 보상 함수에 방어 메커니즘을 통합함으로써 실제 연합 학습 시스템에서 공격의 내성과 은폐성이 향상되는가?

주요 결과

• Krum 및 Median 방어 조치 하에서 100회의 훈련 라운드 이내에 강화학습 기반 공격는 100%의 백도어 정확도를 달성하며, BFL은 변동성이 크고 성능이 낮은 것을 고려할 때 뚜렷한 우월성을 보인다.
• 노름 경계 방어(임계값 0.05) 하에서, 강화학습 공격는 220라운드 후 약 100%의 백도어 정확도를 달성하지만, BFL의 백도어 정확도는 50%를 초과하지 못한다.
• 공격는 주 작업 정확도를 기존 기준선과 유사하게 유지하며, 주 작업 성능이 손상되지 않았음을 입증한다.
• 강화학습 공격는 정책 훈련 중에 후기 훈련 방어 조치인 뉴런 클리핑과 프루닝의 영향을 예측함으로써 이를 우회한다.
• 300회의 연합 학습 라운드 이후, 강화학습 공격는 80%의 백도어 정확도를 유지하지만, 다른 공격는 40% 이하로 감소하여 뛰어난 내구성을 입증한다.
• 공격의 성공은 향후 시스템 행동을 보상 함수에 반영하는 비단기적이고 장기적인 최적화 전략 덕분이다.