[논문 리뷰] Secure and Efficient Federated Learning Through Layering and Sharding Blockchain

Shuo Yuan, Bin Cao외 3명|arXiv (Cornell University)|2021. 04. 27.

Privacy-Preserving Technologies in Data참고 문헌 57인용 수 6

한 줄 요약

이 논문은 블록체인 기반의 두 계층 구조를 채택한 ChainFL을 제안한다. 이는 IoT 기기들을 서브체인으로 분할하는 슈딩 기법과 교차 서브체인 검증을 위한 DAG 기반 메인체인을 사용하여, 기존의 피드포워드 학습(FL) 시스템 대비 최대 14%의 훈련 효율 향상과 세 배의 강건성 향상을 달성한다. 또한 계층적 합의와 가상 프루닝을 통해 악성 기기 및 느린 기기로부터 발생하는 보안 위험을 완화한다.

ABSTRACT

Introducing blockchain into Federated Learning (FL) to build a trusted edge computing environment for transmission and learning has attracted widespread attention as a new decentralized learning pattern. However, traditional consensus mechanisms and architectures of blockchain systems face significant challenges in handling large-scale FL tasks, especially on Internet of Things (IoT) devices, due to their substantial resource consumption, limited transaction throughput, and complex communication requirements. To address these challenges, this paper proposes ChainFL, a novel two-layer blockchain-driven FL system. It splits the IoT network into multiple shards within the subchain layer, effectively reducing the scale of information exchange, and employs a Direct Acyclic Graph (DAG)-based mainchain as the mainchain layer, enabling parallel and asynchronous cross-shard validation. Furthermore, the FL procedure is customized to integrate deeply with blockchain technology, and a modified DAG consensus mechanism is designed to mitigate distortion caused by abnormal models. To provide a proof-of-concept implementation and evaluation, multiple subchains based on Hyperledger Fabric and a self-developed DAG-based mainchain are deployed. Extensive experiments demonstrate that ChainFL significantly surpasses conventional FL systems, showing up to a 14% improvement in training efficiency and a threefold increase in robustness.

연구 동기 및 목표

• 신뢰할 수 없는 IoT 환경에서 기존 피드포워드 학습의 확장성과 보안 한계를 해결하기 위해.
• 대규모 FL 구현에서 블록체인 오버헤드를 줄이고 트랜잭션 처리량을 향상시키기 위해.
• 분산 합의와 모델 검증을 통해 악성 기기 및 느린 기기로부터 발생하는 위험을 완화하기 위해.
• 자원 제약이 있는 IoT 기기들과 호환 가능한 확장성 있고 효율적이며 안전한 FL 프레임워크를 설계하기 위해.
• 실세계 환경에서 블록체인 통합 지연과 모델 강건성 간의 트레이드오프를 평가하기 위해.

제안 방법

• 시스템은 두 계층 아키텍처를 사용한다: 기기 샤드 내에서 로컬 모델 합의를 위한 서브체인과 글로벌 모델 검증을 위한 DAG 기반 메인체인.
• 슈딩은 IoT 네트워크를 더 작은 관리 가능한 서브체인으로 나누어, 각 노드의 통신 및 스토리지 오버헤드를 감소시킨다.
• 수정된 DAG 합의 메커니즘을 통해 이면적이고 병렬적인 교차 서브체인 검증이 가능해져 처리량과 장애 내성성이 향상된다.
• FL 훈련 과정은 블록체인과 밀접하게 통합되어 있으며, 로컬 모델 평가 및 메인체인 내 악성 모델의 가상 프루닝이 포함된다.
• 계층적 합의 프rotocol은 동기식 샤드 수준 합의와 异상식 메인체인 검증을 조합하여 오래된 모델과 느린 기기를 처리한다.
• 프로토타입은 서브체인에 대해 Hyperledger Fabric을 사용하고 메인체인은 자체 개발한 DAG 기반 메인체인을 사용하여 종단 간 평가가 가능하도록 구현되었다.

실험 결과

연구 질문

• RQ1 대규모 IoT 네트워크에서 지연을 줄이고 확장성을 향상시키기 위해 블록체인이 피드포워드 학습에 어떻게 효율적으로 통합될 수 있는가?
• RQ2 블록체인 확장 피드포워드 학습 시스템에서 슈딩이 통신 및 스토리지 오버헤드를 얼마나 줄이는가?
• RQ3 피드포워드 학습 환경에서 전통적인 블록체인 아키텍처에 비해 DAG 기반 메인체인이 더 빠르고 내구성이 높은 합의를 가능하게 하는가?
• RQ4 제안된 시스템은 기존의 기준 FL 방법에 비해 악성 기기 공격 상황에서 어떻게 성능을 발휘하는가?
• RQ5 블록체인 통합으로 인한 추가 지연과 그로 인한 모델 강건성 향상 간의 트레이드오프는 어떠한가?

주요 결과

• ChainFL은 기존의 FedAvg 및 AsynFL과 같은 전통적인 FL 시스템에 비해 최대 14%의 훈련 효율 향상을 달성한다.
• 시스템은 최대 30%의 기기가 악성일 경우에도 안정적인 수렴을 보이며, 악성 기기 대비 강건성이 세 배 향상됨을 입증한다.
• 블록체인 오버헤드로 인한 약간의 훈련 지연 증가에도 불구하고, ChainFL은 악성 조건 하에서 AsynFL에 비해 전체 수렴 안정성과 정확도에서 뛰어난 성능을 보인다.
• 메인체인 내 가상 프루닝 메커니즘이 악성 모델을 효과적으로 제거하여 글로벌 모델 정확도를 유지하고 수렴 성능 저하를 방지한다.
• ChainFL는 로컬 에포크 수와 배치 크기 등의 하이퍼파rameter에 대해 FedAvg와 유사한 민감도를 유지하며, 표준 FL 설정과의 호환성을 보여준다.
• 서브체인 수와 각 서브체인 내 장치 수가 변화하더라도 시스템 성능은 안정적이며, 서브체인 크기가 증가함에 따라 퍼플렉서티가 약간 감소하는 정도의 영향만을 보인다.