[논문 리뷰] Privacy-Preserving Blockchain-Based Federated Learning for IoT Devices

Yang Zhao, Jun Zhao외 6명|arXiv (Cornell University)|2019. 06. 26.

Privacy-Preserving Technologies in Data참고 문헌 64인용 수 53

한 줄 요약

IoT를 위한 차블록체인 기반 크라우드소싱 연합 학습 프레임워크를 제안하며, 차등 프라이버시, IPFS 오프체인 저장, 평판 기반 인센티브 시스템을 사용하고, 감사 가능성과 보안을 위해 Algorand 기반 블록체인을 포함한다.

ABSTRACT

Home appliance manufacturers strive to obtain feedback from users to improve their products and services to build a smart home system. To help manufacturers develop a smart home system, we design a federated learning (FL) system leveraging the reputation mechanism to assist home appliance manufacturers to train a machine learning model based on customers' data. Then, manufacturers can predict customers' requirements and consumption behaviors in the future. The working flow of the system includes two stages: in the first stage, customers train the initial model provided by the manufacturer using both the mobile phone and the mobile edge computing (MEC) server. Customers collect data from various home appliances using phones, and then they download and train the initial model with their local data. After deriving local models, customers sign on their models and send them to the blockchain. In case customers or manufacturers are malicious, we use the blockchain to replace the centralized aggregator in the traditional FL system. Since records on the blockchain are untampered, malicious customers or manufacturers' activities are traceable. In the second stage, manufacturers select customers or organizations as miners for calculating the averaged model using received models from customers. By the end of the crowdsourcing task, one of the miners, who is selected as the temporary leader, uploads the model to the blockchain. To protect customers' privacy and improve the test accuracy, we enforce differential privacy on the extracted features and propose a new normalization technique. We experimentally demonstrate that our normalization technique outperforms batch normalization when features are under differential privacy protection. In addition, to attract more customers to participate in the crowdsourcing FL task, we design an incentive mechanism to award participants.

연구 동기 및 목표

• 가정용 가전 제조업체의 서비스를 개선하고 소비자 행동을 예측하는 데 도움을 주기 위한 계층적 크라우드소싱 연합 학습 시스템 설계.
• 추출된 특징에 차등 프라이버시를 적용하고 새로운 정규화 기법을 도입하여 참가자에 대한 프라이버시 보호 제공.
• 모델 업데이트를 감사하고 조작을 방지하며 기여의 추적 가능성을 제공하기 위해 블록체인 활용.
• 신뢰도 기반 인센티브 메커니즘과 Multi-KRUM을 바탕으로 신뢰할 수한 참가자를 보상하고 오염 공격을 억제하기 위해 도입.

제안 방법

• 모델 학습은 epsilon-DP 노이즈가 있는 모바일 특징 추출로 나뉘고, 그 뒤 MEC 서버에서 완전 연결 계층의 학습이 수행된다.
• 대형 모델 크기를 다루기 위해 블록체인에 기록된 모델 해시를 포함하는 오프체인 저장용 IPFS 사용.
• Algorand PoS/BFT 합의 구조를 갖춘 컨소시엄 블록체인이 글로벌 모델 집계를 위한 리더 선출과 Multi-KRUM으로의 검증 및 모델 제출 관리를 한다.
• 평판 기반 인센티브 메커니즘은 VRF로 선출된 검증자와 Multi-KRUM을 결합하여 참가자 평판을 산출하고 보상 또는 벌점을 결정한다.
• 새로운 정규화 기법은 평균/분산 제약을 완화하는 한편 특징 값의 범위를 제한하여 DP-perturbed 학습 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 블록체인과 차등 프라이버시를 적용한 연합 학습을 어떻게 통합하여 분산된 IoT 참가자들의 모델을 안전하게 집계할 수 있는가?
• RQ2 제안된 정규화 기법이 배치 정규화와 비교하여 차등 프라이버시 하에서 테스트 정확도를 향상시키는가?
• RQ3 평판 기반 인센티브 메커니즘이 오염 공격을 완화하고 크라우드소싱 연합 학습의 참가자 참여를 촉진하는가?
• RQ4 IoT 중심의 연합 학습 환경에서 대형 모델 업데이트를 효과적으로 처리하는 저장 및 합의 전략은 무엇인가?

주요 결과

• 참가자 데이터를 보호하고 효과적인 글로벌 모델 학습을 가능하게 하며 특징에 차등 프라이버시가 적용된다.
• 실험에서 제안된 정규화 기법이 차등 프라이버시 하에서 배치 정규화보다 더 높은 테스트 정확도를 나타낸다.
• IPFS 저장 및 Algorand 합의를 통한 블록체인 기반 감사를 통해 조작을 방지하고 모델 업데이트의 추적 가능성을 제공한다.
• 평판과 Multi-KRUM을 활용한 인센티브 메커니즘이 신뢰할 수 있는 업데이트를 식별하고 악의적 기여를 억제하는 데 도움을 준다.