[논문 리뷰] Towards Byzantine-resilient Learning in Decentralized Systems

Shangwei Guo, Tianwei Zhang외 4명|arXiv (Cornell University)|2020. 02. 20.

Privacy-Preserving Technologies in Data참고 문헌 19인용 수 12

한 줄 요약

이 논문은 분산형 피에드러티드 러닝을 위한 새로운 비잔티노스 내성 집계 알고리즘인 Mozi를 제안한다. Mozi는 악성 노드가 존재하더라도 정상 노드가 악성 업데이트를 일관되게 거르고 정확한 모델로 수렴할 수 있도록 한다. Mozi는 균일한 수렴을 보장하며, 기존 솔루션 대비 강력한 보안성과 효율성을 실험적으로 입증한다.

ABSTRACT

With the proliferation of IoT and edge computing, decentralized learning is becoming more promising. When designing a distributed learning system, one major challenge to consider is Byzantine Fault Tolerance (BFT). Past works have researched Byzantine-resilient solutions for centralized distributed learning. However, there are currently no satisfactory solutions with strong efficiency and security in decentralized systems. In this paper, we propose a novel algorithm, Mozi, to achieve BFT in decentralized learning systems. Specifically, Mozi provides a uniform Byzantine-resilient aggregation rule for benign nodes to select the useful parameter updates and filter out the malicious ones in each training iteration. It guarantees that each benign node in a decentralized system can train a correct model under very strong Byzantine attacks with an arbitrary number of faulty nodes. We perform the theoretical analysis to prove the uniform convergence of our proposed algorithm. Experimental evaluations demonstrate the high security and efficiency of Mozi compared to all existing solutions.

연구 동기 및 목표

• 분산 학습 시스템에서 효율적이고 안전한 비잔티노스 결함 내성(BFT) 솔루션의 부족을 해결하기 위해.
• 정상 노드가 각 학습 반복에서 악성 파라미터 업데이트를 식별하고 거부할 수 있도록 균일한 집계 규칙을 설계하기 위해.
• 임의의 수의 노드가 고장 났을 경우에도 정확한 모델 학습을 보장하기 위해.
• 제안된 알고리즘의 분산 환경에서의 균일한 수렴을 이론적으로 증명하기 위해.

제안 방법

• Mozi는 중앙 조율자가 필요 없이 각 정상 노드에서 독립적으로 작동하는 균일한 비잔티노스 내성 집계 규칙을 도입한다.
• 알고리즘은 각 정상 노드가 파라미터 업데이트의 일관성과 통계적 성질을 기반으로 악성 업데이트를 평가하고 거르는 데 기여한다.
• 적대적 입력이 존재하더라도 모델 정확도를 유지하는 강력한 집계 메커니즘을 활용한다.
• 이상치와 악성 업데이트를 거부함으로써 정상 노드가 공동으로 정확한 모델로 수렴하도록 보장한다.
• 이론적 분석을 통해 임의의 수의 고장 노드가 존재하는 강력한 비잔티노스 조건 하에서도 균일한 수렴을 입증한다.
• 통신 및 계산 효율성이 뛰어나 IoT 및 엣지 컴퓨팅 환경에 적합하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 임의의 수의 고장 노드가 존재하는 상황에서 분산 학습 시스템이 강력한 보안 보장을 바탕으로 비잔티노스 내성성을 달성할 수 있는가?
• RQ2 중앙 기관에 의존하지 않고 정상 노드가 악성 업데이트를 균일하게 탐지하고 거를 수 있는 방법은 무엇인가?
• RQ3 비잔티노스 행동이 존재하더라도 모델의 균일한 수렴을 보장하는 집계 규칙은 무엇인가?
• RQ4 기존의 중심화된 및 분산형 BFT 솔루션과 비교해 본다면, 제안된 방법은 효율성과 보안성에서 어떤가?
• RQ5 실제 분산 시스템에서 강력한 적대적 조건 하에서도 알고리즘이 높은 모델 정확도를 유지할 수 있는가?

주요 결과

• Mozi는 임의의 비잔티노스 결함 조건 하에서도 모든 정상 노드에서 모델의 균일한 수렴을 달성하여, 악성 노드가 많아도 정확한 학습을 보장한다.
• 알고리즘은 각 학습 반복에서 악성 파라미터 업데이트를 효과적으로 걸러내어 높은 보안성을 입증한다.
• 실험 평가 결과, Mozi는 보안성과 학습 효율성 측면에서 기존 솔루션을 모두 앞서며 뛰어난 성능을 보였다.
• Mozi는 강력한 적대적 조건 하에서도 모델 정확도와 수렴 속도를 유지하여 그 강건성을 확인했다.
• 통신 및 계산 효율성이 뛰어나 자원 제약이 있는 IoT 및 엣지 환경에 적합하다.
• 이론적 분석을 통해 Mozi가 강력한 비잔티노스 공격 모델 하에서도 정확한 모델 학습을 보장한다는 것이 입증되었다.