[論文レビュー] Privacy-Preserving Blockchain-Based Federated Learning for IoT Devices

Yang Zhao, Jun Zhao+6 more|arXiv (Cornell University)|Jun 26, 2019

Privacy-Preserving Technologies in Data参考文献 64被引用数 53

ひとこと要約

ブロックチェーンを用いたクラウドソーシング型フェデレーテッドラーニングのフレームワークをIoT向けに提案し、差分プライバシー、IPFSオフチェーンストレージ、評判ベースのインセンティブシステムを採用し、監査可能性とセキュリティのためにAlgorandベースのブロックチェーンを利用する。

ABSTRACT

Home appliance manufacturers strive to obtain feedback from users to improve their products and services to build a smart home system. To help manufacturers develop a smart home system, we design a federated learning (FL) system leveraging the reputation mechanism to assist home appliance manufacturers to train a machine learning model based on customers' data. Then, manufacturers can predict customers' requirements and consumption behaviors in the future. The working flow of the system includes two stages: in the first stage, customers train the initial model provided by the manufacturer using both the mobile phone and the mobile edge computing (MEC) server. Customers collect data from various home appliances using phones, and then they download and train the initial model with their local data. After deriving local models, customers sign on their models and send them to the blockchain. In case customers or manufacturers are malicious, we use the blockchain to replace the centralized aggregator in the traditional FL system. Since records on the blockchain are untampered, malicious customers or manufacturers' activities are traceable. In the second stage, manufacturers select customers or organizations as miners for calculating the averaged model using received models from customers. By the end of the crowdsourcing task, one of the miners, who is selected as the temporary leader, uploads the model to the blockchain. To protect customers' privacy and improve the test accuracy, we enforce differential privacy on the extracted features and propose a new normalization technique. We experimentally demonstrate that our normalization technique outperforms batch normalization when features are under differential privacy protection. In addition, to attract more customers to participate in the crowdsourcing FL task, we design an incentive mechanism to award participants.

研究の動機と目的

• 家電メーカーがサービスを改善し消費者行動を予測するのを支援する階層的なクラウドソーシング型FLシステムを設計する。
• 抽出特徴量に差分プライバシーを適用し新しい正規化手法を用いて参加者のプライバシー保護を提供する。
• モデル更新を監査し改ざいを防ぎ、寄与の追跡性を可能にするためにブロックチェーンを活用する。
• 信頼度とMulti-KRUMに基づくインセンティブ機構を組み込み、信頼性の高い参加者を報酬し混入を抑止する。

提案手法

• モデル学習はε-DPノイズを用いたモバイル特徴抽出に分割され、その後MECサーバ上で全結合層を訓練する。
• 大規模モデルサイズに対処するため、オフチェーンストレージとしてIPFSを使用し、モデルハッシュをブロックチェーンに記録する。
• Algorand PoS/BFT合意を用いたコンソーシアムブロックチェーンがモデル提出、Multi-KRUMでの検証、およびグローバルモデル集約のためのリーダー選出を管理する。
• 評判ベースのインセンティブ機構はMulti-KRUMとVRF選択検証者を組み合わせて参加者の評判を算出し、報酬または制裁を決定する。
• 新しい正規化手法は平均/分散の制約を緩和しつつ特徴量の値を制限して、DP摂動付き訓練の精度を改善する。

実験結果

リサーチクエスチョン

• RQ1 分散IoT参加者からのモデルを安全に集約するために、ブロックチェーンと差分プライベートFLをどのように統合できるか。
• RQ2 提案された正規化手法は、差分プライバシー下でのテスト精度をバッチ正規化と比較して改善するか。
• RQ3 評判ベースのインセンティブ機構は poisoning を緩和し、クラウドソーシング型FLへの参加を促進できるか。
• RQ4 IoT中心のFL設定で大規模なモデル更新を効果的に処理するためのストレージと合意戦略は何か。

主な発見

• 特徴量に差分プライバシーを適用して参加者データを保護しつつ効果的なグローバルモデル訓練を実現。
• 提案された正規化手法は、実験において差分プライバシー下でバッチ正規化より高いテスト精度をもたらす。
• Blockchainベースの監査はIPFSストレージとAlgorand合意によって改ざいを防ぎ、モデル更新の追跡性を可能にする。
• 評判とMulti-KRUMを活用したインセンティブ機構は信頼性の高い更新を特定し悪意ある投稿を抑止するのに役立つ。