[논문 리뷰] Honest Score Client Selection Scheme: Preventing Federated Learning Label Flipping Attacks in Non-IID Scenarios

Yanli Li, Huaming Chen외 3명|arXiv (Cornell University)|2023. 11. 10.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 비독립identical 분포(Non-IID) 분산 학습 환경에서 레이블 뒤집기 공격에 대응하기 위해 글로벌 모델의 리스크와의 일치도를 기반으로 클라이언트를 선별하는 '정직 점수 클라이언트 선별(HSCS)' 기법을 제안한다. 이는 글로벌 리스크 벡터와 클라이언트 정확도 벡터의 내적을 통해 클라이언트의 정직 점수를 계산하고, 악성 클라이언트를 걸러내는 방식이다. 실험 결과, HSCSFL은 레이블 뒤집기 공격이 존재하는 비독립identical 조건에서도 높은 강건성과 정확도를 유지함을 보였다.

ABSTRACT

Federated Learning (FL) is a promising technology that enables multiple actors to build a joint model without sharing their raw data. The distributed nature makes FL vulnerable to various poisoning attacks, including model poisoning attacks and data poisoning attacks. Today, many byzantine-resilient FL methods have been introduced to mitigate the model poisoning attack, while the effectiveness when defending against data poisoning attacks still remains unclear. In this paper, we focus on the most representative data poisoning attack - "label flipping attack" and monitor its effectiveness when attacking the existing FL methods. The results show that the existing FL methods perform similarly in Independent and identically distributed (IID) settings but fail to maintain the model robustness in Non-IID settings. To mitigate the weaknesses of existing FL methods in Non-IID scenarios, we introduce the Honest Score Client Selection (HSCS) scheme and the corresponding HSCSFL framework. In the HSCSFL, The server collects a clean dataset for evaluation. Under each iteration, the server collects the gradients from clients and then perform HSCS to select aggregation candidates. The server first evaluates the performance of each class of the global model and generates the corresponding risk vector to indicate which class could be potentially attacked. Similarly, the server evaluates the client's model and records the performance of each class as the accuracy vector. The dot product of each client's accuracy vector and global risk vector is generated as the client's host score; only the top p\% host score clients are included in the following aggregation. Finally, server aggregates the gradients and uses the outcome to update the global model. The comprehensive experimental results show our HSCSFL effectively enhances the FL robustness and defends against the "label flipping attack."

연구 동기 및 목표

• 기존의 바이저낸트 내성 강건한 분산 학습 방법이 비독립identical 상황에서 데이터 풀링 공격, 특히 레이블 뒤집기 공격에 취약한 점을 해결하기 위해.
• 데이터 분포가 비독립identical일 때 공격이 존재하는 상황에서 현재의 분산 학습 방법이 강건성을 유지하지 못하는 이유를 규명하기 위해.
• 비독립identical 환경에서 악성 클라이언트를 효과적으로 탐지하고 제외할 수 있는 클라이언트 선별 메커니즘을 설계하기 위해.
• 정직 점수 계산과 기울기 집합을 통합하여 모델의 강건성을 향상시킬 수 있는 실용적 프레임워크 HSCSFL을 개발하기 위해.

제안 방법

• 서버는 모든 클래스의 모델 성능을 모니터링하기 위해 수동으로 수집한 청소된 평가 데이터셋을 유지한다.
• 각 학습 반복 단계에서 서버는 글로벌 모델의 각 클래스별 성능을 평가하여 글로벌 리스크 벡터를 계산한다.
• 각 클라이언트의 모델은 동일한 평가 데이터셋에서 평가되어 각 클래스별로 클라이언트 전용 정확도 벡터를 생성한다.
• 각 클라이언트의 정직 점수(HS)는 글로벌 리스크 벡터와 클라이언트의 정확도 벡터 간의 내적을 통해 계산된다.
• 각 라운드에서 정직 점수 상위 $p\%$ 클라이언트만 기울기 집합에 포함된다.
• 선택된 클라이언트의 기울기를 평균화하여 글로벌 모델을 갱신함으로써 레이블 뒤집기 공격에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존의 바이저낸트 내성 강건한 분산 학습 방법은 비독립identical 데이터 환경에서 레이블 뒤집기 공격에 대해 어떻게 작동하는가?
• RQ2 현재의 클라이언트 선별 방법은 비독립identical 상황에서 왜 레이블 뒤집기 공격을 방어하지 못하는가?
• RQ3 클래스별 성능 일치도를 기반으로 한 클라이언트 선별 메커니즘이 비독립identical 분산 학습에서 강건성을 향상시킬 수 있는가?
• RQ4 정직 점수가 비독립identical 환경에서 레이블 뒤집기 공격이 존재할 때 악성 클라이언트를 효과적으로 식별하는 데 어떻게 기여하는가?
• RQ5 평가 데이터셋의 무결성이 HSCSFL 프레임워크의 강건성에 어떤 영향을 미치는가?

주요 결과

• 기존의 바이저낸트 내성 강건한 분산 학습 방법은 IID 조건에서는 강건성을 유지하지만, 비독립identical 상황에서는 레이블 뒤집기 공격에 대응하지 못한다.
• HSCSFL 프레임워크는 MNIST 및 Fashion-MNIST 데이터셋에서 다양한 비독립identical 수준에서도 레이블 뒤집기 공격을 성공적으로 방어한다.
• HSCSFL은 고도의 레이블 뒤집기 공격 비율 조건에서도 높은 테스트 정확도를 유지하며, 비독립identical 조건에서 베이스라인 방법보다 뛰어난 성능을 보인다.
• 정직 점수 메커니즘은 글로벌 리스크 벡터와의 성능 불일치를 탐지함으로써 악성 클라이언트를 효과적으로 식별하고 제외한다.
• 공격을 받은 클래스가 편향된 클래스에 포함되지 않는 한, 평가 데이터셋이 부분적으로 오염되어도 프레임워크는 여전히 강건성을 유지한다.
• 공격을 받은 클래스의 평가 데이터가 그대로 유지될 경우, HSCSFL 프레임워크는 거짓 양성 및 거짓 음성에 대해 강건성이 있다.