[논문 리뷰] Thinking Two Moves Ahead: Anticipating Other Users Improves Backdoor Attacks in Federated Learning

Yuxin Wen, Jonas Geiping외 5명|arXiv (Cornell University)|2022. 10. 17.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 페더레이티드 러닝에서 향후 양호한 클라이언트의 업데이트를 예측하여 악성 모델 업데이트의 지속성을 높이는 새로운 백도어 공격을 제안한다. 시뮬레이션된 향후 페더레이티드 평균화 단계를 통해 역전파를 수행함으로써, 공격 기회가 제한된 상황에서도 백도어가 효과를 유지할 수 있도록 보장한다. 기존 기준 방법이 20%로 떨어지는 동안, 이 공격은 훈련 후 60%의 백도어 정확도를 달성한다.

ABSTRACT

Federated learning is particularly susceptible to model poisoning and backdoor attacks because individual users have direct control over the training data and model updates. At the same time, the attack power of an individual user is limited because their updates are quickly drowned out by those of many other users. Existing attacks do not account for future behaviors of other users, and thus require many sequential updates and their effects are quickly erased. We propose an attack that anticipates and accounts for the entire federated learning pipeline, including behaviors of other clients, and ensures that backdoors are effective quickly and persist even after multiple rounds of community updates. We show that this new attack is effective in realistic scenarios where the attacker only contributes to a small fraction of randomly sampled rounds and demonstrate this attack on image classification, next-word prediction, and sentiment analysis.

연구 동기 및 목표

• 희소한 공격 기회가 존재하는 현실적인 조건에서 기존의 백도어 공격이 실패하는 한계를 해결한다.
• 페더레이티드 평균화 과정에서 개별 악성 업데이트가 빠르게 양호한 업데이트에 의해 덮어씌워지는 문제를 극복한다.
• 양호한 사용자 업데이트의 후속 영향을 모델링하여 장기적인 백도어 지속성을 확보하는 공격 전략을 개발한다.
• 비독립적이고 비균일한 데이터 분포, 통신 제약 조건이 존재하는 현실적인 페더레이티드 러닝 환경에서 공격의 효과성을 입증한다.
• 이미지 분류, 다음 단어 예측, 감성 분석 등 다양한 작업에 대한 평가를 수행한다.

제안 방법

• 이 공격은 'Anticipate'로 명명되며, 향후 k라운드 동안의 양호한 클라이언트 행동을 시뮬레이션하여 향후 페더레이티드 평균화 단계를 모델링한다.
• 다양이 가능한 페더럴 평균화 집계 과정을 시뮬레이션하여, 향후 모델 업데이트를 통해 기울기를 역전파한다.
• 공격자는 k개의 시뮬레이션된 향후 라운드 이후에도 백도어 정확도가 최대가 되도록 악성 업데이트를 최적화함으로써, 이후의 양호한 업데이트에 대한 저항성을 확보한다.
• 이 방법은 노름 제한 기법을 통합하여, 개별 업데이트가 클리핑되는 현실적인 제약 조건에서도 효과를 발휘한다.
• 세 가지 효율적인 변형이 도입된다: (A) 최종 단계에서만 손실 계산, (B) 전체 손실을 사용하는 랜덤 단계 선택, (C) 계산량을 줄이기 위해 랜덤으로 선택된 단계에서만 손실 계산.
• 공격는 악성 업데이트에 대해 기울기 기반 최적화를 사용하며, 장기적인 백도어 성공률을 극대화하도록 목적 함수를 설계한다.

실험 결과

연구 질문

• RQ1 공격자가 훈련 라운드의 소수에만 기여하는 경우, 페더레이티드 러닝에서의 백도어 공격가 여전히 효과를 발휘할 수 있는가?
• RQ2 향후 양호한 업데이트를 예측함으로써, 페더럴 모델 내 백도어 트리거의 지속성은 어떻게 향상되는가?
• RQ3 백도어 정확도와 지속성 최적화를 위해 예측할 적절한 향후 라운드 수는 얼마인가?
• RQ4 공격의 효율적인 변형은 계산 비용을 줄이면서도 높은 성능을 유지할 수 있는가?
• RQ5 노름 제한 방어 조치가 적용된 상황에서도 공격가 여전히 효과를 발휘하는가? 이는 페더레이티드 러닝 시스템에서 일반적인 완화 방법이다.

주요 결과

• Anticipate 공격는 500라운드 이내에 100%의 백도어 정확도를 달성하며, 기준 방법보다 훨씬 빠르게 작동한다. 이는 20,000회의 기여 중 100회만이 악성 기여인 경우에도 적용된다.
• 공격 윈도우가 종료된 후, Anticipate 방법은 60%의 백도어 정확도를 유지하지만, 기준 방법은 단지 20%에 그친다.
• 최적의 예측 길이는 9단계이며, 이때 최종 백도어 정확도가 최대에 도달한다. 더 긴 예측 길이는 지속성 향상에 기여하지 않는다.
• 공격의 효율적 변형, 특히 변형 C(랜덤으로 선택된 향후 단계에서만 손실 계산)는 최적화 시간을 줄이면서도 기준 방법을 능가하는 성능을 보인다.
• 엄격한 노름 제한 조건 하에서도 공격가 효과를 유지함을 입증하여, 이 방어 조치만으로는 정교하고 미래를 고려한 공격에 대응하기에는 부족함을 보여준다.
• 이 공격는 노름 제한 방어를 특별히 우회하도록 설계되었으며, Krum, Multi-krum, 또는 중앙값 집계와 같은 대체 집계 방법을 통해 완화될 수 있다.