[논문 리뷰] FLTrust: Byzantine-robust Federated Learning via Trust Bootstrapping

Xiaoyu Cao, Minghong Fang외 2명|arXiv (Cornell University)|2020. 12. 27.

Privacy-Preserving Technologies in Data참고 문헌 44인용 수 35

한 줄 요약

FLTrust는 작은 깨끗한 루트 데이터 세트와 서버 모델을 사용하여 연합학습의 신뢰를 구축하고 Byzantine-로컬 모델 중독 공격에 대항하며 최소한의 클라이언트 측 변경으로 견고성을 달성합니다.

ABSTRACT

Byzantine-robust federated learning aims to enable a service provider to learn an accurate global model when a bounded number of clients are malicious. The key idea of existing Byzantine-robust federated learning methods is that the service provider performs statistical analysis among the clients' local model updates and removes suspicious ones, before aggregating them to update the global model. However, malicious clients can still corrupt the global models in these methods via sending carefully crafted local model updates to the service provider. The fundamental reason is that there is no root of trust in existing federated learning methods. In this work, we bridge the gap via proposing FLTrust, a new federated learning method in which the service provider itself bootstraps trust. In particular, the service provider itself collects a clean small training dataset (called root dataset) for the learning task and the service provider maintains a model (called server model) based on it to bootstrap trust. In each iteration, the service provider first assigns a trust score to each local model update from the clients, where a local model update has a lower trust score if its direction deviates more from the direction of the server model update. Then, the service provider normalizes the magnitudes of the local model updates such that they lie in the same hyper-sphere as the server model update in the vector space. Our normalization limits the impact of malicious local model updates with large magnitudes. Finally, the service provider computes the average of the normalized local model updates weighted by their trust scores as a global model update, which is used to update the global model. Our extensive evaluations on six datasets from different domains show that our FLTrust is secure against both existing attacks and strong adaptive attacks.

연구 동기 및 목표

• 일부 클라이언트가 악의적일 수 있을 때 Byzantine-robust 연합학습의 필요성 제기.
• 서버가 관리하는 깨끗한 루트 데이터 세트를 활용한 신뢰 구축 메커니즘 도입.
• 모델 업데이트의 방향성과 크기 모두를 고려하는 견고한 집계 규칙 설계.
• 다양한 데이터 세트에서 표준 및 적응 포이즈닝 공격에 대해 FLTrust를 평가.
• FedAvg 및 기존 Byzantine-robust 방법과 비교한 충실도, 견고성 및 효율성 평가.

제안 방법

• 서버는 작은 깨끗한 루트 데이터 세트와 이를 이용해 학습된 서버 모델을 보유한다.
• 클라이언트는 표준 FL과 같이 로컬 모델 업데이트를 계산하지만 서버 주도 신뢰 신호에 대해 평가된다.
• 신뢰 점수는 로컬 업데이트와 서버 업데이트 사이의 ReLU로 클리핑된 코사인 유사도에 기반한다.
• 로컬 업데이트는 서버 업데이트와 동일한 노름으로 크기 정규화되어 포이징 영향력을 제한한다.
• 전역 업데이트는 정규화된 로컬 업데이트의 가중 평균으로, 신뢰 점수에 의해 가중되며 서버 모델 업데이트 고려사항이 추가된다.
• 이 접근법은 업데이트의 방향성과 크기를 모두 집계에 통합하여 공격으로부터 방어한다.

실험 결과

연구 질문

• RQ1 서버에 고정된 루트 데이터 세트가 연합학습에서 Byzantine 클라이언트에 대한 견고성을 어떻게 높일 수 있는가?
• RQ2 공격이 없을 때 FedAvg에 비해 정확도(충실도)를 유지하면서 공격 시 견고성을 제공하는가?
• RQ3 FLTrust가 집계 규칙을 위해 고안된 적응적 로컬 모델 포이즈닝 공격에 대해 방어할 수 있는가?
• RQ4 루트 데이터 세트의 크기와 분포가 FLTrust 성능에 어떤 영향을 미치는가?
• RQ5 다양한 작업에서 FLTrust의 방어 기능이 기존 Byzantine-robust 방법(Krum, Trimmed Mean, Median 등)과 어떻게 비교되는가?

주요 결과

• FLTrust는 루트 데이터 세트가 100개 미만인 경우에도 여섯 개 데이터 세트 전반에서 기존 포이즈닝 공격에 대해 안전하게 유지된다.
• 악의적 클라이언트가 40-60%인 적응적 공격 아래에서 MNIST-0.1에 대한 CNN 글로벌 모델 정확도가 Attack 전 FedAvg와 유사하게 달성된다.
• Krum, Trimmed Mean, Median과 비교하여 제시된 실험에서 FLTrust의 견고성이 향상된다.
• MNIST-0.1에 대해 FLTrust로 학습된 CNN 글로벌 모델은 모든 평가된 공격에서 테스트 오차율이 0.04로 달성된다.
• Krum은 공격 변형에서 테스트 오차를 0.10에서 0.90까지 상승시킬 수 있어 FLTrust의 상대적 탄력성을 보여준다.
• FLTrust는 공격자 클라이언트가 있어도 공격 없이 FedAvg에 근접한 성능을 유지할 수 있다.