[논문 리뷰] Bristle: Decentralized Federated Learning in Byzantine, Non-i.i.d. Environments

Joost Verbraeken, Martijn de Vos외 1명|arXiv (Cornell University)|2021. 10. 21.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

Bristle는 비대칭 데이터 환경에서 빠르고 바이러스성에 강한 훈련을 가능하게 하는 탈중앙화된 피어 투 피어 연합 학습을 위한 미들웨어이다. 이는 전이 학습을 통해 출력 레이어를 제외한 레이어를 동 冻결하고, 성능 기반 통합기와 함께 거리 기반 우선순위 지정기를 사용하여 모델 업데이트를 안전하게 집계한다. 바이러스성 환경에서도 95%의 정확도를 달성하며, 기준 대비 통신 비용을 90% 감소시킨다.

ABSTRACT

Federated learning (FL) is a privacy-friendly type of machine learning where devices locally train a model on their private data and typically communicate model updates with a server. In decentralized FL (DFL), peers communicate model updates with each other instead. However, DFL is challenging since (1) the training data possessed by different peers is often non-i.i.d. (i.e., distributed differently between the peers) and (2) malicious, or Byzantine, attackers can share arbitrary model updates with other peers to subvert the training process. We address these two challenges and present Bristle, middleware between the learning application and the decentralized network layer. Bristle leverages transfer learning to predetermine and freeze the non-output layers of a neural network, significantly speeding up model training and lowering communication costs. To securely update the output layer with model updates from other peers, we design a fast distance-based prioritizer and a novel performance-based integrator. Their combined effect results in high resilience to Byzantine attackers and the ability to handle non-i.i.d. classes. We empirically show that Bristle converges to a consistent 95% accuracy in Byzantine environments, outperforming all evaluated baselines. In non-Byzantine environments, Bristle requires 83% fewer iterations to achieve 90% accuracy compared to state-of-the-art methods. We show that when the training classes are non-i.i.d., Bristle significantly outperforms the accuracy of the most Byzantine-resilient baselines by 2.3x while reducing communication costs by 90%.

연구 동기 및 목표

• 탈중앙화된 연합 학습(DFL) 환경에서 바이러스성 공격과 비균형 데이터 분포의 과제를 해결하기 위해.
• 중앙 집중형 매개변수 서버에 의존하지 않고 DFL에서 통신 오버헤드를 줄이고 수렴 속도를 높이기 위해.
• 악성 피어가 임의의 업데이트를 제출하더라도 모델 정확도를 유지할 수 있는 내성적인 집합 메커니즘을 설계하기 위해.
• 다양한 비균형 비균형 데이터 분포를 가진 피어들 간의 네트워크에서 효율적인 훈련을 가능하게 하기 위해.

제안 방법

• 딥 전이 학습을 사용하여 신경망의 출력 레이어를 제외한 레이어를 동 冻결함으로써 훈련 및 통신 비용을 감소시킴.
• 빠른 거리 기반 메트릭을 사용하여 들어오는 모델 업데이트의 우선순위를 정함으로써 잠재적으로 양호한 모델을 식별함.
• 로컬 테스트 세트에서 모델 정확도를 평가하는 성능 기반 통합기를 사용하여 각 클래스별로 가장 성능이 좋은 모델만 통합함.
• 집합 과정 동안 오직 출력 레이어만 업데이트함으로써 통신 오버헤드를 최소화하면서도 모델 일관성을 유지함.
• 지속적 학습(CWR*)의 개념을 활용하여 피어 간의 비균형 클래스 분포를 처리함.
• 거리 기반 우선순위 지정과 클래스별 성능 평가를 조합하여 기존의 기울기 유사성에만 의존하지 않는 바이러스성에 강한 보안을 확보함.

실험 결과

연구 질문

• RQ1 비균형 데이터 분포를 가진 피어들 사이에서 바이러스성 공격 환경에서도 탈중앙화된 연합 학습 시스템이 높은 정확도를 유지할 수 있는가?
• RQ2 모델 수렴성과 강건성을 유지하면서 DFL에서 통신 비용을 최소화할 수 있는가?
• RQ3 거리 메트릭과 성능 기반 필터링을 조합한 하이브리드 접근 방식이 기존 집합 규칙에 비해 바이러스성에 강한 성능을 향상시킬 수 있는가?
• RQ4 전이 학습을 통해 출력 레이어 이외의 레이어를 동 冻결함으로써 탈중앙화 환경에서 수렴 속도가 얼마나 빨라지는가?
• RQ5 비균형 데이터 조건에서 Bristle의 성능이 바이러스성 및 비바이러스성 환경 모두에서 최신 기술 대비 어떻게 비교되는가?

주요 결과

• Bristle는 바이러스성 환경에서 테스트 정확도 95%를 달성하며, 평가된 모든 기준 대비 슈퍼리어한 성능을 보였다.
• 비바이러스성 환경에서는 최신 기술 대비 83% 적은 훈련 반복 수로 90% 정확도에 도달했다.
• 비균형 데이터 조건에서 Bristle는 가장 바이러스성에 강한 기준 대비 정확도를 2.3배 향상시켰다.
• 비균형 데이터 조건에서 Bristle는 기준 방법 대비 통신 비용을 90% 감소시켰다.
• 거리 기반 우선순위 지정과 성능 기반 통합의 조합은 기울기 유사성에만 의존하지 않고도 높은 악성 업데이트에 대한 저항성을 확보할 수 있었다.
• Bristle의 설계는 오직 출력 레이어만 업데이트함으로써 악성 환경에서도 빠른 수렴과 낮은 통신 오버헤드를 가능하게 했다.