[논문 리뷰] Robust Blockchained Federated Learning with Model Validation and Proof-of-Stake Inspired Consensus

Hang Chen, Syed Ali Asif외 3명|arXiv (Cornell University)|2021. 01. 09.

Privacy-Preserving Technologies in Data참고 문헌 20인용 수 37

한 줄 요약

VBFL은 분산형 모델 검증과 PoS 기반 합의를 도입하여 블록체인 기반 연합 학습의 보안을 강화하고 악의적 기기에 대한 견고성을 향상시킵니다. MNIST에서 15%의 공격자가 있을 때 VBFL은 87% 정확도를 달성하며 Vanilla FL 대비 7.4배 더 높습니다.

ABSTRACT

Federated learning (FL) is a promising distributed learning solution that only exchanges model parameters without revealing raw data. However, the centralized architecture of FL is vulnerable to the single point of failure. In addition, FL does not examine the legitimacy of local models, so even a small fraction of malicious devices can disrupt global training. To resolve these robustness issues of FL, in this paper, we propose a blockchain-based decentralized FL framework, termed VBFL, by exploiting two mechanisms in a blockchained architecture. First, we introduced a novel decentralized validation mechanism such that the legitimacy of local model updates is examined by individual validators. Second, we designed a dedicated proof-of-stake consensus mechanism where stake is more frequently rewarded to honest devices, which protects the legitimate local model updates by increasing their chances of dictating the blocks appended to the blockchain. Together, these solutions promote more federation within legitimate devices, enabling robust FL. Our emulation results of the MNIST classification corroborate that with 15% of malicious devices, VBFL achieves 87% accuracy, which is 7.4x higher than Vanilla FL.

연구 동기 및 목표

• FL의 단일 실패 지점을 해결하고 모델 합법성 문제를 다루어 강건한 연합 학습을 촉진합니다.
• 모델 검증과 PoS 기반 합의를 결합한 분산형 VBFL 프레임워크를 제안합니다.
• 악의적 참가자와 함께 MNIST 실험을 통해 견고성 및 효율성 향상을 입증합니다.

제안 방법

• 라운드당 세 가지 역할(작업자, 검증자, 채굴자)을 갖는 VBFL 도입.
• 검증자가 로컬 업데이트를 자체 데이터로 학습하고 합법성을 투표하여 분산 검증을 구현합니다.
• 가장 기여하는 채굴자(지분 기반)에 의해 합법 블록이 생성되는 PoS 기반 합의를 채택합니다.
• 역할과 성과에 따라 지분을 축적하는 2단계 보상 메커니즘을 사용하여 블록 선택과 참여를 유도합니다.
• 악의적 행위자의 블랙리스트를 반영하면서 채굴자들 사이에서 누적 지분이 가장 높은 블록을 합법으로 선택합니다.

실험 결과

연구 질문

• RQ1 분산형 검증이 중앙 집계자가 없이 왜곡된 로컬 업데이트를 효과적으로 걸러낼 수 있습니까?
• RQ2 PoW에 비해 PoS 기반 합의가 통신 및 지연을 줄이면서 독성 공격에 대한 견고함을 유지합니까?
• RQ3 VBFL을 지속시키고 악의적 참여를 저지르는 집계 규칙과 보상 구조는 무엇입니까?
• RQ4 VBFL은 실제 환경의 악의적 존재하에서 연합 학습 작업(MNIST 등)에서 어떻게 성능을 발휘합니까?

주요 결과

• VBFL은 15% 악의적 장치를 가진 상태에서도 MNIST 정확도 87%를 달성하며 동일 조건에서 Vanilla FL보다 7.4배 높습니다.
• 제안된 분산 검증은 검증자 간 투표와 라운드별 역할 할당을 활용하여 악의적 업데이트의 영향을 감소시킵니다.
• VBFL-PoS는 통신 오버헤드를 줄이고 PoW 기반 시스템과 유사한 포링 현상을 유지하는 것으로 에뮬레이션에서 확인되었습니다.
• 역할 전환은 단일 채굴자의 지속적 우위를 완화하고 일부 블록체인 강화 FL 접근법에서 관찰되는 비민주적 부작용을 방지하는 데 도움이 됩니다.
• 오픈 소스 VBFL 프록토타입은 파이썬으로 구현되었으며 주어진 저장소 URL에서 재현 가능합니다.