[논문 리뷰] PIRATE: A Blockchain-based Secure Framework of Distributed Machine Learning in 5G Networks

Sicong Zhou, Huawei Huang외 3명|arXiv (Cornell University)|2019. 12. 17.

Blockchain Technology Applications and Security참고 문헌 14인용 수 13

한 줄 요약

PIRATE는 5G 네트워크에서 분산 기계학습을 바이러스성에 강한 방식으로 가능하게 하는 스플리팅 기반 블록체인 프레임워크를 제안한다. 이는 기울기 집계 및 파라미터 업데이트 중 모델 보안을 보장한다. 블록체인 스플리팅과 탈중앙화된 합의를 활용함으로써, 중앙집중식 또는 비스플리팅 대안인 LearningChain에 비해 저장소 오버헤드와 반복 시간을 감소시켜 대규모 탈중앙화 학습 환경에서 뛰어난 확장성과 효율성을 달성한다.

ABSTRACT

In the fifth-generation (5G) networks and the beyond, communication latency and network bandwidth will be no more bottleneck to mobile users. Thus, almost every mobile device can participate in the distributed learning. That is, the availability issue of distributed learning can be eliminated. However, the model safety will become a challenge. This is because the distributed learning system is prone to suffering from byzantine attacks during the stages of updating model parameters and aggregating gradients amongst multiple learning participants. Therefore, to provide the byzantine-resilience for distributed learning in 5G era, this article proposes a secure computing framework based on the sharding-technique of blockchain, namely PIRATE. A case-study shows how the proposed PIRATE contributes to the distributed learning. Finally, we also envision some open issues and challenges based on the proposed byzantine-resilient learning framework.

연구 동기 및 목표

• 분산 기계학습 시스템에서 기울기 집계 및 모델 파라미터 업데이트 기간 동안 바이러스성 공격에 대응하는 데 도전하는 것.
• 대규모 5G 기반 학습 환경에서 단일 장애 지점과 높은 운영 비용 문제를 야기하는 중앙집중식 파라미터 서버의 한계를 극복하는 것.
• 블록체인 기술을 활용해 분산 SGD(D-SGD)에서 고가용성, 탈중앙화, 낮은 저장소 복잡도를 달성하는 것.
• 이종 모바일 디바이스의 실시간 대규모 참여를 지원하는 확장성 있고 효율적인 프레임워크를 설계하는 것.
• 블록체인 기반 신뢰성 평가 및 합의 메커니즘 통합을 통해 탈중앙화 학습에서 모델 안전성과 무결성을 확보하는 것.

제안 방법

• 네트워크를 여러 위원회(스플릿)로 분할하는 스플리팅 기반 블록체인 아키텍처를 활용하여, 각 위원회가 기울기 집계 및 모델 업데이트의 일부를 담당하도록 하는 것.
• 노드 신뢰성 평가 모듈을 통합하여 학습 위원회에 참여하기 전에 악성 또는 신뢰할 수 없는 참가자를 걸러내는 것.
• 이중 레이어 블록체인 아키텍처를 적용: 글로벌 권한 및 비실시간 장치 상태를 관리하는 앵커 체인과 실시간 학습 운영을 위한 스플릿 체인.
• 각 스플릿 내에서 합의 프로토콜을 적용하여 집계된 기울기 및 모델 파라미터에 대한 합의를 확보하고, 상태 기반 복제를 통해 바이러스성에 강한 방식을 제공하는 것.
• 각 노드의 저장소를 리더의 기울기, 이웃 위원회의 기울기, 그리고 자신의 로컬 기울기로 제한하여 이전 시스템에서 관찰된 선형 증가하는 저장소 성장 방지.
• 기울기 브로드캐스트를 각 위원회당 c명으로 제한함으로써 커뮤니케이션을 최적화하고, 병렬 합의를 가능하게 하여 반복 시간을 감소시키는 것.

실험 결과

연구 질문

• RQ1 중앙집중식 파라미터 서버에 의존하지 않고 분산 기계학습에서 바이러스성에 강한 방식을 달성할 수 있는 방법은 무엇인가?
• RQ2 스플리팅 기반 블록체인 아키텍처가 대규모 D-SGD 시스템에서 저장소 복잡도와 커뮤니케이션 효율성에 미치는 영향은 무엇인가?
• RQ3 PIRATE가 LearningChain과 같은 기존 프레임워크에 비해 기울기 저장소 오버헤드와 반복 시간 측면에서 어떻게 비교되는가?
• RQ4 탈중앙화된 권한 제어와 실시간 신뢰성 평가가 블록체인 기반 학습 프레임워크에 효과적으로 통합될 수 있는가? 이는 시스템 보안성과 확장성 유지에 기여하는가?
• RQ5 탈중앙화된 5G 기반 분산 학습 환경에서 모델 오염 공격에 대응하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• PIRATE는 반복 과정 동안 기울기 저장소 오버헤드가 일정하게 유지되는 반면, LearningChain는 모든 이력 기울기를 저장해야 하므로 선형 증가하는 저장소 성장을 보인다.
• PIRATE는 각 위원회당 c명으로 기울기 브로드캐스트를 제한함으로써 병렬 합의를 가능하게 하고 커뮤니케이션 비용을 최소화하여 반복 시간을 크게 감소시킨다.
• 28MB 기울기 크기의 시뮬레이션에서, 노드 수가 증가할수록 PIRATE가 LearningChain에 비해 저장소 효율성과 반복 시간 측면에서 뛰어난 성능을 보였다.
• 블록체인 스플리팅을 통해 중앙집중화된 제3자에 대한 의존도를 제거함으로써 고도의 확장성과 탈중앙화를 달성하였고, 바이러스성에 강한 방식을 유지하였다.
• PIRATE의 설계는 이종 디바이스의 효율적이고 안전하며 저오버헤드의 참여를 가능하게 하여, 악성 조건 하에서도 5G 기반 분산 학습 환경에서 효과적으로 작동한다.
• 스플리팅, 합의, 동적 신뢰성 평가의 조합을 통해 대규모 실시간 분산 학습의 실현 가능성을 입증하였다.