[논문 리뷰] Mitigating Sybils in Federated Learning Poisoning

Clement Fung, Chris J. M. Yoon외 1명|arXiv (Cornell University)|2018. 08. 14.

Privacy-Preserving Technologies in Data참고 문헌 43인용 수 360

한 줄 요약

이 논문은 시빌 기반 중독 공격을 완화하기 위해 상호 클라이언트 그래디언트 유사도에 따라 클라이언트 학습률을 적응적으로 조정하는 FoolsGold를 제안하며, 고정된 공격자 수를 가정하지 않는다.

ABSTRACT

Machine learning (ML) over distributed multi-party data is required for a variety of domains. Existing approaches, such as federated learning, collect the outputs computed by a group of devices at a central aggregator and run iterative algorithms to train a globally shared model. Unfortunately, such approaches are susceptible to a variety of attacks, including model poisoning, which is made substantially worse in the presence of sybils. In this paper we first evaluate the vulnerability of federated learning to sybil-based poisoning attacks. We then describe \emph{FoolsGold}, a novel defense to this problem that identifies poisoning sybils based on the diversity of client updates in the distributed learning process. Unlike prior work, our system does not bound the expected number of attackers, requires no auxiliary information outside of the learning process, and makes fewer assumptions about clients and their data. In our evaluation we show that FoolsGold exceeds the capabilities of existing state of the art approaches to countering sybil-based label-flipping and backdoor poisoning attacks. Our results hold for different distributions of client data, varying poisoning targets, and various sybil strategies. Code can be found at: https://github.com/DistributedML/FoolsGold

연구 동기 및 목표

• 연합학습이 시빌 기반 중독 공격에 취약하다는 점을 동기 부여하고 정량화한다.
• 유사한(잠재적으로 시빌인) 업데이트의 가중치를 낮추기 위해 기여도 유사도를 사용하는 방어책(FoolsGold)을 제안한다.
• 다양한 데이터세트, 모델, 중독 전략에서 효과를 입증한다.
• 방어가 외부 공격자 수 매개변수에 의존하지 않으며 기존 방어와 보완적임을 보여준다.

제안 방법

• 클라이언트의 모델 업데이트를 지표 특성에 대한 코사인 유사도를 사용하여 방향 유사성으로 분석한다.
• 클라이언트별로 과거 업데이트를 축적하여 시간에 따른 기여도 유사성을 측정한다.
• 시빌과 혼합될 때 정직한 클라이언트를 과도하게 벌하지 않도록 유사도를 조정하는 면책(pardoning) 메커니즘은
• 확신 매개변수를 가진 로짓 기반 재가중치를 통해 유사도를 집계용 각 클라이언트의 학습률로 변환한다.
• 최종 업데이트 w_{t+1} = w_t + sum_i alpha_i * Delta_i,t는 이러한 적응적으로 스케일된 업데이트를 사용한다.
• 이 접근법은 FEDSGD 및 FEDAVG와 호환되며 데이터를 검증하거나 공격자 수를 한정할 필요가 없다.]
• research_questions:[
• Can federated learning be robust to an arbitrary number of sybil attackers without explicit attacker-bound assumptions?
• Does similarity-based adaptation of client learning rates effectively mitigate label-flipping and backdoor poisoning under non-IID data distributions?
• How does FoolsGold perform relative to prior defenses (e.g., Multi-Krum) under various sybil strategies and datasets?
• What are the convergence and robustness implications of using adaptive learning rates based on gradient similarity?

실험 결과

연구 질문

• RQ1 연합학습이 시빌 기반 중독 공격에 취약하다는 점을 동기 부여하고 정량화한다.
• RQ2 유사한(잠재적으로 시빌인) 업데이트의 가중치를 낮추기 위해 기여도 유사도를 사용하는 방어책(FoolsGold)을 제안한다.
• RQ3 다양한 데이터세트, 모델, 중독 전략에서 효과를 입증한다.
• RQ4 방어가 외부 공격자 수 매개변수에 의존하지 않으며 기존 방어와 보완적임을 보여준다.

주요 결과

• FoolsGold는 MNIST, VGGFace2, KDDCup99, Amazon 등 다양한 데이터세트에서 시빌 기반 중독의 영향을 줄인다.
• 과거 그래디언트 유사도에 기반한 적응형 per-client 학습률은 시빌 기여를 억제하면서 정직한 업데이트를 보존한다.
• FoolsGold는 데이터 분포, 중독 대상 및 시빌 전략이 달라져도 효과적이며 공격자 수를 지정할 필요가 없다.
• 레이블 플리핑 및 백도어 공격에 대해 강력한 방어를 보이며 보고된 시나리오에서 특정 기준 방어보다 우수하다.
• FoolsGold는 기존 방어(Multi-Krum 등)와 결합하여 보호를 강화할 수 있다.