[논문 리뷰] Privacy-Preserving Blockchain Based Federated Learning with Differential Data Sharing

Anudit Nagar|arXiv (Cornell University)|2019. 12. 10.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

이 논문은 분산된 기기 간의 탈중앙화된 모델 훈련을 보호하기 위해 블록체인 기술과 차등 데이터 공유를 통합한 프라이버시 보장형 피어 투 피어 학습 프레임워크를 제안한다. 신뢰할 수 없는 조율을 위한 블록체인과 데이터 보호를 위한 차등 프라이버시를 활용함으로써, 사용자 데이터 기밀성을 유지하면서도 안전하고 확장 가능하며 인cent라이즈된 글로벌 모델 학습을 가능하게 한다.

ABSTRACT

For the modern world where data is becoming one of the most valuable assets, robust data privacy policies rooted in the fundamental infrastructure of networks and applications are becoming an even bigger necessity to secure sensitive user data. In due course with the ever-evolving nature of newer statistical techniques infringing user privacy, machine learning models with algorithms built with respect for user privacy can offer a dynamically adaptive solution to preserve user privacy against the exponentially increasing multidimensional relationships that datasets create. Using these privacy aware ML Models at the core of a Federated Learning Ecosystem can enable the entire network to learn from data in a decentralized manner. By harnessing the ever-increasing computational power of mobile devices, increasing network reliability and IoT devices revolutionizing the smart devices industry, and combining it with a secure and scalable, global learning session backed by a blockchain network with the ability to ensure on-device privacy, we allow any Internet enabled device to participate and contribute data to a global privacy preserving, data sharing network with blockchain technology even allowing the network to reward quality work. This network architecture can also be built on top of existing blockchain networks like Ethereum and Hyperledger, this lets even small startups build enterprise ready decentralized solutions allowing anyone to learn from data across different departments of a company, all the way to thousands of devices participating in a global synchronized learning network.

연구 동기 및 목표

• 암호 기반의 프라이버시 보장 기법을 통합하여 탈중앙화된 머신 러닝에서의 데이터 프라이버시 우려를 해결하고자 한다.
• 블록체인 인fra를 활용하여 분산된 기기 간의 안전하고 확장 가능하며 신뢰할 수 없는 협업을 가능하게 하고자 한다.
• 블록체인 상의 토큰 기반 보상 메커니즘을 통해 피어 투 피어 학습에서 고품질 기여를 유도하고자 한다.
• 기업용으로 사용 가능한 상호운용성 있는 솔루션을 제공하기 위해 기존 블록체인 플랫폼인 이더리움과 허퍼러드에의 배포를 지원하고자 한다.
• 모델 수렴을 보장하면서도 기기 수준에서 데이터 기밀성을 유지하기 위해 차등 데이터 공유를 통해 실현하고자 한다.

제안 방법

• 프레임워크는 엣지 기기에서 로컬로 모델을 훈련시되, 원시 데이터를 공유하지 않도록 한다.
• 모델 업데이트를 전송하기 전에 차등 데이터 공유를 적용하여 개인 데이터 포인트가 기밀을 유지하도록 보장한다.
• 블록체인 레이어를 통해 모델 업데이트 기록과 공약 관리를 수행함으로써 기여의 투명성과 불변성을 확보한다.
• 훈련 중 모델 기울기에 보정된 노이즈를 추가함으로써 기기 수준에서 차등 프라이버시를 지원한다.
• 블록체인를 통해 검증된 품질과 신뢰성 기반으로 기여도에 따라 토큰 기반 보상 메커니즘이 기기에게 제공된다.
• 기존 블록체인 플랫폼인 이더리움과 허퍼러드와의 호환성을 고려하여 설계되어, 원활한 통합 및 배포를 지원한다.

실험 결과

연구 질문

• RQ1 피어 투 피어 학습을 블록체인과 통합함으로써 신뢰할 수 없고, 투명하며 감사 가능한 모델 집계를 어떻게 보장할 수 있는가?
• RQ2 탈중앙화된 모델 훈련 중 사용자 데이터 프라이버시를 어떻게 보존하면서도 모델 유틸리티를 손상시키지 않을 수 있는가?
• RQ3 피어 투 피어 학습에 차등 데이터 공유를 효과적으로 통합하여 공식적인 프라이버시 보장을 어떻게 달성할 수 있는가?
• RQ4 블록체인 기반의 인cent라이즈 메커니즘이 분산된 기기에서 고품질 참여를 유도하는 데 어떤 역할을 할 수 있는가?
• RQ5 제안된 시스템을 실세계의 확장성을 확보하기 위해 기존의 블록체인 플랫폼인 이더리움과 허퍼러드에 어떻게 배포할 수 있는가?

주요 결과

• 피어 투 피어 학습에 차등 데이터 공유를 통합함으로써, 차등 프라이버시 메커니즘을 통해 공식적인 프라이버시 보장을 제공한다.
• 블록체인은 모델 업데이트의 신뢰할 수 없고, 불변하며 검증 가능한 기록을 제공함으로써 시스템의 투명성과 책임성 향상을 가능하게 한다.
• 시스템은 수천 대의 기기에서의 확장 가능한 참여를 지원하며, 동기화되고 프라이버시 보장된 학습 네트워크를 형성한다.
• 토큰 기반의 인센티브 메커니즘은 엣지 기기에서의 신뢰성 있고 고품질의 기여를 효과적으로 유도한다.
• 프레임워크는 이더리움과 허퍼러드와 같은 기존 블록체인 플랫폼에 배포 가능하여, 기업용으로 사용 가능한 탈중앙화된 AI 솔루션을 제공한다.
• 아키텍처는 안전한 집계를 통해 글로벌 모델 수렴을 가능하게 하면서도 기기 수준에서 데이터 기밀성을 유지한다.