[논문 리뷰] Provably Secure Federated Learning against Malicious Clients

Xiaoyu Cao, Jinyuan Jia외 1명|arXiv (Cornell University)|2021. 02. 03.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 연합 학습에서 악성 클라이언트에 대한 증명 가능하고 안전한 방어 방법으로 앙상블 연합 학습을 제안한다. 무작위 클라이언트 부분집합을 사용해 다수의 글로벌 모델을 훈련하고, 추론 시 다수결 투표를 통해 예측 레이블이 일정 수 이하의 악성 클라이언트 영향을 받지 않도록 보장함으로써, MNIST에서 1,000명의 클라이언트 중 20명이 악성일 경우에도 88%의 인증된 정확도를 달성한다.

ABSTRACT

Federated learning enables clients to collaboratively learn a shared global model without sharing their local training data with a cloud server. However, malicious clients can corrupt the global model to predict incorrect labels for testing examples. Existing defenses against malicious clients leverage Byzantine-robust federated learning methods. However, these methods cannot provably guarantee that the predicted label for a testing example is not affected by malicious clients. We bridge this gap via ensemble federated learning. In particular, given any base federated learning algorithm, we use the algorithm to learn multiple global models, each of which is learnt using a randomly selected subset of clients. When predicting the label of a testing example, we take majority vote among the global models. We show that our ensemble federated learning with any base federated learning algorithm is provably secure against malicious clients. Specifically, the label predicted by our ensemble global model for a testing example is provably not affected by a bounded number of malicious clients. Moreover, we show that our derived bound is tight. We evaluate our method on MNIST and Human Activity Recognition datasets. For instance, our method can achieve a certified accuracy of 88% on MNIST when 20 out of 1,000 clients are malicious.

연구 동기 및 목표

• 악성 클라이언트가 조작된 업데이트를 통해 글로벌 모델을 손상시킬 수 있는 연합 학습의 취약성을 해결하기 위해.
• 일부 클라이언트가 악성일 경우라도 테스트 예측 레이블의 정확성이 보장되는 방어 방법을 개발하기 위해.
• 추가 가정 없이도 초과될 수 없는 이론적으로 타당한 날카로운 보안 수준을 제공하기 위해.
• 대규모 연합 학습 환경에서 인증된 보안 수준을 추정하기 위한 확장 가능한 알고리즘을 설계하기 위해.

제안 방법

• 기본 연합 학습 알고리즘을 사용해 총 n명의 클라이언트 중 k명의 무작위 클라이언트 부분집합을 사용해 다수의 글로벌 모델을 훈련한다.
• 각 테스트 예측에 대해, 모든 글로벌 모델의 예측 레이블 중 투표 수가 가장 많은 레이블을 선택하여 최종 예측을 결정한다.
• 인증된 보안 수준은 다수결 투표 결과 레이블이 변하지 않는 최대 악성 클라이언트 수로 정의된다.
• 서브셋 수가 너무 많아 정확한 계산이 어려운 경우, 몬테카를로 알고리즘을 사용해 가장 큰 확률과 두 번째로 큰 확률을 추정한다.
• 이론적 분석을 통해 유도된 인증된 보안 수준가 실제로 날카로운 상한선임을 증명하며, 이는 기본 알고리즘에 대한 더 강한 가정 없이도 더 이상 높은 상한선을 달성할 수 없음을 의미한다.
• 비대칭 데이터 분포와 악성 클라이언트 비율이 다양한 조건에서 MNIST 및 Human Activity Recognition 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 연합 학습 시스템이 테스트 예측 레이블이 일정 수 이하의 악성 클라이언트 영향을 받지 않도록 증명 가능하게 보장할 수 있는가?
• RQ2 동일한 가정 조건 하에서 어떤 다른 방법보다도 초과될 수 없는 날카로운 인증된 보안 수준를 유도할 수 있는가?
• RQ3 비대칭 데이터 분포와 악성 클라이언트 비율이 다양할 경우 앙상블 방법의 성능은 어떻게 변하는가?
• RQ4 모든 가능한 글로벌 모델을 훈련하지 않고도 인증된 보안 수준을 효율적으로 추정할 수 있는 알고리즘이 가능한가?

주요 결과

• 앙상블 연합 학습 방법은 1,000명의 클라이언트 중 20명이 악성일 경우 MNIST에서 88%의 인증된 정확도를 달성하여 뛰어난 강건성을 입증한다.
• 비대칭 데이터 분포가 높은 경우(예: q = 0.9)에도 10명의 클라이언트가 악성일 경우 여전히 83%의 인증된 정확도를 유지하여 데이터 이질성에 대한 강건성을 보여준다.
• 글로벌 모델 수가 일정 임계값을 초과하면 인증된 정확도가 포화 상태에 도달함을 확인하여, 일정 수 이상의 앙상블에서는 수익 감소 현상이 나타남을 시사한다.
• 유도된 인증된 보안 수준는 증명 가능하게 날카로우며, 이는 기본 연합 학습 알고리즘에 대한 추가 가정 없이도 어떤 다른 방법보다 더 높은 상한선을 달성할 수 없음을 의미한다.
• 몬테카를로 추정 알고리즘은 대규모 클라이언트 풀에서 인증된 보안 수준를 효율적으로 계산할 수 있게 하여, 실제 적용 가능성을 높인다.