[논문 리뷰] BARFED: Byzantine Attack-Resistant Federated Averaging Based on Outlier Elimination

Ece Isik-Polat, Görkem Polat외 1명|arXiv (Cornell University)|2021. 11. 08.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 4

한 줄 요약

BARFED는 글로벌 모델과의 거리 기반으로 이상치 레이어를 탐지하여 악성 모델 업데이트를 식별하고 제외함으로써 베즈반티너-강건한 분산 학습 방어 기법이다. 데이터 및 모델 오염 공격에 대해 강력한 내성 확보를 위해 데이터 분포, 업데이트 유사성, 악성 참여자 비율에 대한 가정 없이도 가능하며, 종합적인 실험에서 기존 방법들을 능가한다.

ABSTRACT

In federated learning, each participant trains its local model with its own data and a global model is formed at a trusted server by aggregating model updates coming from these participants. Since the server has no effect and visibility on the training procedure of the participants to ensure privacy, the global model becomes vulnerable to attacks such as data poisoning and model poisoning. Although many defense algorithms have recently been proposed to address these attacks, they often make strong assumptions that do not agree with the nature of federated learning, such as Non-IID datasets. Moreover, they mostly lack comprehensive experimental analyses. In this work, we propose a defense algorithm called BARFED that does not make any assumptions about data distribution, update similarity of participants, or the ratio of the malicious participants. BARFED mainly considers the outlier status of participant updates for each layer of the model architecture based on the distance to the global model. Hence, the participants that do not have any outlier layer are involved in model aggregation. We perform extensive experiments on many grounds and show that the proposed approach provides a robust defense against different attacks.

연구 동기 및 목표

• 클라이언트 학습 과정에 대한 가시성 부족으로 인한 데이터 및 모델 오염 공격에 대한 분산 학습의 취약성 해결.
• 기존 방어 기법이 데이터 분포, 업데이트 유사성, 악성 참여자 비율에 대해 강한 가정에 의존하는 한계를 극복.
• Non-IID 데이터 및 다양한 공격 비율을 포함한 다양한 분산 학습 환경에서 강건한 방어 메커니즘 개발.
• 클라이언트 데이터나 학습 세부 정보에 의존하지 않는 개인정보 보호 기반 집계 보장.

제안 방법

• 각 모델 레이어에 대해, BARFED는 각 클라이언트의 모델 업데이트와 현재 글로벌 모델 간의 거리를 계산하여 이상치를 탐지한다.
• 정해진 거리 임계값 기반으로 어떤 레이어라도 이상치 행동을 보일 경우, 해당 클라이언트는 잠재적으로 악성으로 표시된다.
• 모든 레이어에서 이상치가 아닌 업데이트를 제공하는 클라이언트들만 글로벌 모델 집계에 포함된다.
• 방법은 각 레이어별로 독립적으로 작동하므로, 데이터나 업데이트 유사성에 대한 가정 없이도 정교한 악성 업데이트 탐지가 가능하다.
• 방어는 분산 학습 기간 동안 반복적으로 적용되어 시간이 지남에 따라 변화하는 글로벌 모델에 적응한다.
• 이상치 탐지는 원시 데이터나 기울기 정보에 접근하지 않고도 모델 가중치의 차이에 기반하여 수행되며, 클라이언트의 개인정보를 보호한다.

실험 결과

연구 질문

• RQ1 데이터 분포나 클라이언트 업데이트 유사성에 대한 가정 없이도 효과적으로 악성 모델 업데이트를 탐지하고 제외할 수 있는 방어 기법은 가능한가?
• RQ2 다양한 Non-IID 데이터 설정에서 악성 참여자 비율이 변할 경우 BARFED의 성능은 어떻게 되는가?
• RQ3 전체 또는 클라이언트 수준의 집계 전략과 비교해 레이어별 이상치 탐지 방식이 강건성을 향상시키는가?
• RQ4 BARFED는 다양한 오염 공격 상황에서도 높은 모델 정확도를 유지하면서도 개인정보 보호성과 확장성을 확보할 수 있는가?

주요 결과

• BARFED는 데이터 분포나 클라이언트 행동에 대한 가정 없이도 다양한 데이터셋과 공격 유형에서 강건한 성능을 보이며, 데이터 및 모델 오염 공격에 대응한다.
• 작은 비율의 클라이언트만 손상된 경우에도 이상치 레이어 식별을 통해 악성 업데이트를 효과적으로 제외한다.
• 실험 결과, 다양한 공격 비율과 Non-IID 데이터 분할 조건에서도 BARFED는 높은 테스트 정확도를 유지하며 여러 벤치마크에서 기존 방어 기법을 능가한다.
• 레이블 뒤집기 및 백도어 공격 모두에 대해 내성적이며, 다양한 공격 벡터에 걸쳐 강력한 일반화 능력을 보여준다.
• 레이어별 이상치 탐지에 초점을 맞춤으로써, 업데이트가 다를 수 있는 정상 클라이언트로부터의 오진 경고를 방지하여 집계 신뢰도를 향상시킨다.
• 계산적으로 효율적이며 표준 분산 평균화와 호환되어 기존 FL 파이프라인에 원활하게 통합할 수 있다.