[논문 리뷰] Towards On-Device Federated Learning: A Direct Acyclic Graph-based Blockchain Approach

Mingrui Cao, Long Zhang외 1명|arXiv (Cornell University)|2021. 04. 27.

Privacy-Preserving Technologies in Data참고 문헌 33인용 수 8

한 줄 요약

이 논문은 자원 집약적인 채굴을 필요로 하지 않는 직접 순환 그래프(DAG) 합의 기반 블록체인 기반의 페더레이티드 러닝(FL) 프레임워크인 DAG-FL을 제안한다. 이는 이종적인 모바일 기기의 자원 차이로 인한 비동기적 on-device FL 환경을 효율적으로 지원한다. 모든 노드에 분산된 모델 검증 및 합의 기능을 통해 PoW 기반 및 동기식 FL 시스템에 비해 지연 시간을 감소시키고, 보안성과 학습 효율성 및 정확도를 향상시킨다.

ABSTRACT

Due to the distributed characteristics of Federated Learning (FL), the vulnerability of global model and coordination of devices are the main obstacle. As a promising solution of decentralization, scalability and security, leveraging blockchain in FL has attracted much attention in recent years. However, the traditional consensus mechanisms designed for blockchain like Proof of Work (PoW) would cause extreme resource consumption, which reduces the efficiency of FL greatly, especially when the participating devices are wireless and resource-limited. In order to address device asynchrony and anomaly detection in FL while avoiding the extra resource consumption caused by blockchain, this paper introduces a framework for empowering FL using Direct Acyclic Graph (DAG)-based blockchain systematically (DAG-FL). Accordingly, DAG-FL is first introduced from a three-layer architecture in details, and then two algorithms DAG-FL Controlling and DAG-FL Updating are designed running on different nodes to elaborate the operation of DAG-FL consensus mechanism. After that, a Poisson process model is formulated to discuss that how to set deployment parameters to maintain DAG-FL stably in different federated learning tasks. The extensive simulations and experiments show that DAG-FL can achieve better performance in terms of training efficiency and model accuracy compared with the typical existing on-device federated learning systems as the benchmarks.

연구 동기 및 목표

• 자원이 다양한 이종적인 모바일 기기로 인한 on-device 페더레이티드 러닝에서의 기기 비동기성 문제를 해결한다.
• 자원 제한이 심한 모바일 환경에서 기존의 블록체인 합의 기반 기술(예: Proof of Work, PoW)의 높은 자원 소모 문제를 해결한다.
• 중앙집중화된 또는 채굴 노드에 의존하지 않고도 분산된 이상 탐지 기능을 가능하게 한다.
• 기기 비동기성과 비정상적 동작 상황에서도 모델 수렴성과 정확도를 유지하는 확장성 있고 안전하며 효율적인 프레임워크를 설계한다.
• 페더레이티드 러닝, DAG, 응용 계층을 통합한 3단계 아키텍처를 제안해 분산된, 효율적이고 안전한 모델 학습 및 검증을 지원한다.

제안 방법

• 3단계 아키텍처를 도입: FL 계층(로컬 모델 학습), DAG 계층(합의 및 트랜잭션 관리), 응용 계층(조정 및 관찰 기능).
• 핵심 알고리즘 2종 설계: DAG-FL Controlling(합의 기능 및 DAG 톱 선택을 제어), DAG-FL Updating(모델 업데이트 검증 및 전파).
• 시스템 안정성과 성능을 확보하기 위해 최적의 배포 파rameter(예: 톱 수, 오래된 상태 기준)를 분석적으로 도출하기 위해 포아송 과정 모델을 활용.
• 모든 참여 노드에 걸쳐 합의 및 모델 검증을 분산화하여 전용 채굴 노드가 필요 없도록 하여 자원 오버헤드를 감소시킨다.
• DAG의 투표 기반 합의 메커니즘을 활용해 채굴 없이도 비동기적이고 확장성 있고 안전한 모델 집계를 가능하게 한다.
• 각 노드에서 로컬 모델 검증을 통합해 비정상적인 업데이트를 탐지하고 완화함으로써 중앙 집중화된 신뢰 기반 없이도 글로벌 모델의 무결성을 확보한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 자원 소비가 최소화되는 DAG 기반 블록체인 프레임워크를 설계하여 비동기적 on-device 페더레이티드 러닝을 지원할 수 있는가?
• RQ2 채굴이나 중앙 집중식 조정자에 의존하지 않고도 분산된 FL 시스템에서 안전하고 효율적인 합의 기능을 확보하기 위한 메커니즘은 무엇인가?
• RQ3 개인정보 보호를 유지하면서도 분산된 FL 환경에서 비정상적인 노드 행동을 탐지하고 완화할 수 있는 방법은 무엇인가?
• RQ4 시스템 안정성과 수렴성을 유지하기 위해 최적의 배포 파rameter(예: 톱 수, 오래된 상태 기준)는 무엇인가?
• RQ5 제안된 DAG-FL 프레임워크는 기존의 PoW 기반 및 동기식 FL 시스템에 비해 학습 효율성과 모델 정확도 측면에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• DAG-FL은 기준 동기식 및 PoW 기반 FL 시스템에 비해 더 높은 시스템 효율성과 더 높은 모델 정확도를 달성했으며, 특히 기기 비동기성 상황에서 두각을 나타냈다.
• 프레임워크는 비정상적 노드에 대해 강력한 회복력을 보이며, 분산된 로컬 검증을 통해 그 영향을 효과적으로 탐지하고 완화함을 입증했다.
• 포아송 과정 모델을 통해 최적의 배포 파rameter(예: DAG 톱 수, 오래된 상태 처리 방식)를 안내함으로써 안정적인 시스템 운영이 가능하다.
• 실제 테스트베드에서의 실험 결과, DAG-FL은 높은 안정성과 효율성을 유지함을 확인했으며, 실세계의 on-device FL 환경에서의 실용성과 타당성을 입증했다.
• 채굴자와 채굴 오버헤드를 제거함으로써 자원 소비를 감소시켰고, 수렴 속도와 모델 품질은 유지 또는 향상시켰다.
• 시스템은 기기 비동기성에 민감하지 않으며, 높은 노드 이질성과 동적 참여 조건에서도 견고한 성능을 유지한다.