[논문 리뷰] Scalable and Communication-efficient Decentralized Federated Edge Learning with Multi-blockchain Framework

Jiawen Kang, Zehui Xiong외 7명|arXiv (Cornell University)|2020. 08. 10.

Blockchain Technology Applications and Security참고 문헌 18인용 수 11

한 줄 요약

이 논문은 블록체인 기반의 확장성 있고 통신 효율적인 피어드 에지 학습(Federated Edge Learning, FEL) 프레임워크를 제안한다. 이는 계층적 다중블록체인 아키텍처와 검증 기반 증명(Proof-of-Verifying, PoV) 공인 메커니즘을 사용하여 보안성과 모델 무결성을 보장한다. 기울기 압축 기법을 통합하여 통신 오버헤드를 최대 300배까지 줄이며 정확도 손실을 최소화하여 대규모 엣지 환경에서 안전하고 탈중앙화되며 효율적인 모델 학습을 달성한다.

ABSTRACT

The emerging Federated Edge Learning (FEL) technique has drawn considerable attention, which not only ensures good machine learning performance but also solves "data island" problems caused by data privacy concerns. However, large-scale FEL still faces following crucial challenges: (i) there lacks a secure and communication-efficient model training scheme for FEL; (2) there is no scalable and flexible FEL framework for updating local models and global model sharing (trading) management. To bridge the gaps, we first propose a blockchain-empowered secure FEL system with a hierarchical blockchain framework consisting of a main chain and subchains. This framework can achieve scalable and flexible decentralized FEL by individually manage local model updates or model sharing records for performance isolation. A Proof-of-Verifying consensus scheme is then designed to remove low-quality model updates and manage qualified model updates in a decentralized and secure manner, thereby achieving secure FEL. To improve communication efficiency of the blockchain-empowered FEL, a gradient compression scheme is designed to generate sparse but important gradients to reduce communication overhead without compromising accuracy, and also further strengthen privacy preservation of training data. The security analysis and numerical results indicate that the proposed schemes can achieve secure, scalable, and communication-efficient decentralized FEL.

연구 동기 및 목표

• 대규모 엣지 AI 구현을 위한 안정적이고 탈중앙화되며 통신 효율적인 FEL 프레임워크의 부족을 해결한다.
• 기존 FEL에서 중심 집계 서버의 단일 장애 지점과 보안 취약점을 해결한다.
• 블록체인 기반 FEL 시스템에서 공개된 기울기 공유로 인한 기밀 泄露 위험을 완화한다.
• 모델 정확도를 희생시키지 않고 FEL의 통신 오버헤드를 줄인다.
• 계층적 블록체인 아키텍처를 통해 국소 모델 업데이트 및 글로벌 모델 거래의 유연하고 확장 가능한 관리를 가능하게 한다.

제안 방법

• 성능 및 확장성 확보를 위해 모델 업데이트 및 거래 기록을 분리 관리할 수 있도록 메인 체인과 서브체인을 포함한 계층적 블록체인 프레임워크를 설계한다.
• 사전 정의된 마이너가 공동으로 모델 업데이트의 품질을 검증하는 검증 기반 증명(Proof-of-Verifying, PoV) 공인 기법을 도입하여 악성 또는 저품질 업데이트를 걸러낸다.
• 임계값 ρ 기반으로 가장 중요한 기울기만 선택하는 기울기 압축 기법을 개발하여 통신 부담을 줄이면서도 모델 정확도를 유지한다.
• PoV와 기울기 압축을 탈중앙화된 FEL 파이프라인에 통합하여 중심 집계 기능을 대체하고 보안성을 향상시킨다.
• 모델 집계의 예측 가능한 지연 시간을 확보하기 위해 라운드당 고정된 0.5초의 공인 시간을 적용한다(이는 EOSIO의 DPoS를 영감으로 삼음).
• CNN, LSTM, GRU 및 SVM 모델을 사용하여 실세계 데이터셋(MNIST, 전력 수요)에 프레임워크를 적용하고 성능을 평가한다.

실험 결과

연구 질문

• RQ1 신뢰할 수 있는 중심 서버에 의존하지 않고 탈중앙화되고 안정적인 FEL 프레임워크를 어떻게 설계할 수 있는가?
• RQ2 탈중앙화된 FEL 시스템에서 악성 또는 저품질 모델 업데이트를 효과적으로 걸러낼 수 있는가?
• RQ3 기울기 압축을 통해 FEL에서 통신 오버헤드를 얼마나 줄일 수 있으며, 이로 인해 모델 정확도가 저하되는가?
• RQ4 다중블록체인 아키텍처가 FEL에서 모델 업데이트 및 거래의 확장성 있고 민첩한 관리를 지원할 수 있는가?
• RQ5 기존 FEL 대비 제안된 프레임워크는 통신 효율성과 보안 측면에서 어떻게 비교되는가?

주요 결과

• ρ = 0.3일 때 기울기 압축을 통해 기울기 크기를 300배 줄였으며, 높은 정확도를 유지하였다.
• ρ = 0.3일 때 MNIST에서 97.25%의 정확도를 달성하였고, ρ를 100으로 증가시켜도 정확도는 1.83% 뿐 향상되어 99.08%에 도달하였으며, 이는 ρ = 0.3 이후 수익 감소 현상을 시사한다.
• 기울기 압축을 적용한 BFEL 프레임워크는 압축 없이 구현한 FEL 대비 통신 오버헤드를 50% 이상 감소시켜 통신 효율성 향상을 크게 개선하였다.
• PoV 공인 기법은 블록체인에 포함되기 전에 모델 업데이트 품질을 검증함으로써 오염 공격에 효과적으로 대비하였다.
• 계층적 블록체인 아키텍처는 모델 업데이트 및 거래 기록의 민감한 성능 격리와 함께 민첩하고 확장 가능한 관리가 가능하도록 하였다.
• 수치적 결과와 보안 분석을 통해 프레임워크가 실세계 응용에서 안정적이고 확장성 있으며 통신 효율적인 탈중앙화된 FEL을 보장함을 확인하였다.