[論文レビュー] Privacy-Preserving Blockchain Based Federated Learning with Differential Data Sharing

Anudit Nagar|arXiv (Cornell University)|Dec 10, 2019

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

この論文は、ブロックチェーン技術と微分プライバシーを統合することで、分散デバイス間でプライバシーを守った分散型モデル学習を実現する、プライバシー保護型フェデレーテッドラーニングフレームワークを提案している。ブロックチェーンを用いて信頼なしの調整を実現し、微分プライバシーを用いてデータ保護を実現することで、ユーザーのデータ機密性を保ちながら、安全でスケーラブルかつインcentive駆動型のグローバルモデル学習が可能になる。

ABSTRACT

For the modern world where data is becoming one of the most valuable assets, robust data privacy policies rooted in the fundamental infrastructure of networks and applications are becoming an even bigger necessity to secure sensitive user data. In due course with the ever-evolving nature of newer statistical techniques infringing user privacy, machine learning models with algorithms built with respect for user privacy can offer a dynamically adaptive solution to preserve user privacy against the exponentially increasing multidimensional relationships that datasets create. Using these privacy aware ML Models at the core of a Federated Learning Ecosystem can enable the entire network to learn from data in a decentralized manner. By harnessing the ever-increasing computational power of mobile devices, increasing network reliability and IoT devices revolutionizing the smart devices industry, and combining it with a secure and scalable, global learning session backed by a blockchain network with the ability to ensure on-device privacy, we allow any Internet enabled device to participate and contribute data to a global privacy preserving, data sharing network with blockchain technology even allowing the network to reward quality work. This network architecture can also be built on top of existing blockchain networks like Ethereum and Hyperledger, this lets even small startups build enterprise ready decentralized solutions allowing anyone to learn from data across different departments of a company, all the way to thousands of devices participating in a global synchronized learning network.

研究の動機と目的

• 暗号的プライバシー保護技術を統合することで、分散型機械学習におけるデータプライバシー懸念を解消すること。
• ブロックチェーンインfraストラクチャを用いて、フェデレーテッドラーニングにおける分散デバイス間の安全でスケーラブルかつ信頼なしの協働を可能にすること。
• ブロックチェーン上のトークンベースの報酬メカニズムを通じて、高品質な貢献を促進すること。
• エントレープライズ向けに実用的で相互運用性のあるソリューションを実現するため、Ethereum や Hyperledger などの既存ブロックチェーンへのデプロイを支援すること。
• 個々のデバイスレベルでのデータ機密性を維持しつつ、微分データ共有を通じてグローバルモデルの収束を実現すること。

提案手法

• フレームワークは、エッジデバイス上でローカルにモデルを学習し、生データを共有しないフェデレーテッドラーニングを用いる。
• 微分データ共有を適用して、送信前にモデル更新を摂動させることで、個々のデータポイントのプライバシーが保証される。
• ブロックチェーンレイヤーを用いてモデル更新の記録とコンセンサス管理を実施し、貢献の透明性と改ざん不可能性を確保する。
• トレーニング中にモデル勾配に校正されたノイズを追加することで、デバイス上で微分プライバシーを実装する。
• ブロックチェーンを介して検証された、貢献の質と信頼性に基づいてデバイスに報酬を支払うトークンベースのインcentiveメカニズムを導入する。
• Ethereum や Hyperledger などの既存ブロックチェーンと互換性を持つアーキテクチャを設計し、シームレスな統合とデプロイを可能にする。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにブロックチェーンを統合することで、信頼なしで透明かつ監査可能なモデルアグリゲーションを実現するにはどうすればよいか？
• RQ2 分散型モデル学習中にユーザーのデータプライバシーを保ちながら、モデルの有用性を損なわずに実現するメカニズムは何か？
• RQ3 微分データ共有をフェデレーテッドラーニングに効果的に統合し、形式的なプライバシー保証を提供するにはどうすればよいか？
• RQ4 ブロックチェーンベースのインcentiveは、分散デバイスからの高品質な参加を促進するのに果たす役割は何か？
• RQ5 Ethereum や Hyperledger などの既存ブロックチェーンプラットフォームに、本システムをどのようにデプロイして実世界でのスケーラビリティを実現できるか？

主な発見

• 微分データ共有とフェデレーテッドラーニングの統合により、微分プライバシー機構を通じて形式的なプライバシー保証が得られる。
• ブロックチェーンにより、モデル更新の信頼なしで改ざん不可能で検証可能な記録が可能となり、システムの透明性と責任性が向上する。
• 本システムは、数千台のデバイスが同期的かつプライバシー保護型の学習ネットワークに参加可能なスケーラビリティを備えている。
• トークンベースのインcentiveメカニズムにより、エッジデバイスからの信頼性の高い高品質な貢献が効果的に促進される。
• 本フレームワークは、Ethereum や Hyperledger などの既存ブロックチェーン上でデプロイ可能であり、エントレープライズ向けに実用的な分散型AIソリューションを実現できる。
• 本アーキテクチャは、安全なアグリゲーションを通じてグローバルモデルの収束を実現しつつ、デバイスレベルでのデータ機密性を維持している。