[논문 리뷰] Shielding Collaborative Learning: Mitigating Poisoning Attacks through Client-Side Detection

Lingchen Zhao, Shengshan Hu외 5명|arXiv (Cornell University)|2019. 10. 29.

Privacy-Preserving Technologies in Data참고 문헌 41인용 수 16

한 줄 요약

이 논문은 공동 학습에서 오염된 모델 업데이트를 탐지하기 위해 클라이언트 측에서의 교차 검증 방어 기법을 제안한다. 클라이언트는 자신의 로컬 데이터를 사용해 업데이트를 평가하고 성능을 서버에 보고한다. 미세한 개인정보 보호 기법과 동적 클라이언트 할당을 통합함으로써, 이 방법은 IID 및 비-IID 환경 모두에서 오염 공격에 효과적으로 저항하며, 기존 방어 기법들보다 강건성과 개인정보 보호 성능에서 뛰어나다.

ABSTRACT

Collaborative learning allows multiple clients to train a joint model without sharing their data with each other. Each client performs training locally and then submits the model updates to a central server for aggregation. Since the server has no visibility into the process of generating the updates, collaborative learning is vulnerable to poisoning attacks where a malicious client can generate a poisoned update to introduce backdoor functionality to the joint model. The existing solutions for detecting poisoned updates, however, fail to defend against the recently proposed attacks, especially in the non-IID setting. In this paper, we present a novel defense scheme to detect anomalous updates in both IID and non-IID settings. Our key idea is to realize client-side cross-validation, where each update is evaluated over other clients' local data. The server will adjust the weights of the updates based on the evaluation results when performing aggregation. To adapt to the unbalanced distribution of data in the non-IID setting, a dynamic client allocation mechanism is designed to assign detection tasks to the most suitable clients. During the detection process, we also protect the client-level privacy to prevent malicious clients from stealing the training data of other clients, by integrating differential privacy with our design without degrading the detection performance. Our experimental evaluations on two real-world datasets show that our scheme is significantly robust to two representative poisoning attacks.

연구 동기 및 목표

• 기존 방어 기법이 실패하는 비-IID 데이터 환경에서 공동 학습의 오염 공격에 대한 취약성을 해결한다.
• 서버가 로컬 훈련 데이터와 모델 업데이트에 접근할 수 없어 발생하는 서버 측 탐지의 한계를 극복한다.
• 클라이언트 수준의 개인정보를 훼손하지 않으면서도 비정상적인 업데이트를 정확하게 탐지할 수 있도록 한다.
• 단일 클라이언트 공격 및 수직 벡터 분해와 같은 고도의 오염 기법에 대비한 강건성을 확보한다.
• 동적 클라이언트 할당과 가중치 평균화를 통해 악성 조건 하에서도 모델 수렴성과 성능을 유지한다.

제안 방법

• 각 클라이언트가 자신의 로컬 데이터에서 들어오는 업데이트를 교차 검증을 통해 모델 업데이트 탐지 기능을 위임한다.
• 클라이언트의 로컬 데이터에서 업데이트의 평가 정확도를 신뢰성의 지표로 사용하며, 높은 정확도는 오염 정도가 낮음을 의미한다.
• 탐지 과정에 미세한 개인정보 보호 기법을 통합하여 악성 피어가 클라이언트의 참여를 추론하지 못하도록 하며, 클라이언트 수준의 개인정보 보호를 강화한다.
• 비-IID 환경에서 데이터 분포가 가장 대표적이거나 균형 잡힌 클라이언트에게 탐지 작업을 할당하는 동적 클라이언트 할당 메커니즘을 구현한다.
• 교차 검증 성능에 기반해 업데이트를 가중치 평균화하여 오염된 업데이트의 영향을 줄인다.
• 탐지 보고서에 기울기 클리핑과 노이즈 주입(미세한 개인정보 보호)을 적용하여 클라이언트 참여 정보를 유추당하는 공격을 방지한다.

실험 결과

연구 질문

• RQ1 서버가 훈련 데이터에 접근할 수 없는 조건에서 클라이언트 측 교차 검증이 오염된 모델 업데이트를 효과적으로 탐지할 수 있는가?
• RQ2 기존 방어 기법이 실패하는 비-IID 데이터 분포 하에서 제안된 방법의 성능은 어떠한가?
• RQ3 탐지 파이프라인에 미세한 개인정보 보호 기법을 통합할 경우 탐지 정확도나 개인정보 보호 보장 수준이 떨어지지 않는가?
• RQ4 동적 클라이언트 할당 메커니즘이 불균형한 데이터 환경에서 탐지 강건성을 어떻게 향상시키는가?
• RQ5 단일 클라이언트 공격 및 수직 벡터 분해와 같은 고도의 오염 전략에 대해 이 기법은 저항할 수 있는가?

주요 결과

• 제안된 클라이언트 측 교차 검증 방어 기법은 MNIST, KDDCup, CIFAR-10 데이터셋에서 레이블 뒤집기 및 백도어 오염 공격 조건에서도 높은 탐지 정확도를 달성한다.
• 이전 방어 기법들이 데이터 분포 이동으로 인해 실패하는 비-IID 환경에서도 이 방법은 강건성을 유지한다.
• 미세한 개인정보 보호 기법 통합으로 클라이언트 참여 정보가 은폐되었으며, 탐지 성능 저하 없이도 성공적으로 개인정보 보호가 이루어졌다.
• 대표적인 데이터를 가진 클라이언트를 선별해 평가에 할당함으로써 동적 클라이언트 할당이 탐지 신뢰도를 향상시켰다.
• Auror, FoolsGold, Krum과 같은 기존 방어 기법보다 단일 클라이언트 공격 및 시빌 스타일 공격을 모두 더 잘 탐지할 수 있었다.
• 교차 검증 결과에 기반한 가중치 평균화로 인해 오염된 업데이트가 글로벌 모델 정확도에 미치는 영향을 크게 줄였다.