[論文レビュー] Blockchained On-Device Federated Learning

Hyesung Kim, Jihong Park+2 more|arXiv (Cornell University)|Aug 12, 2018

Privacy-Preserving Technologies in Data参考文献 13被引用数 14

ひとこと要約

本稿では、中央サーバーをブロックチェーンに置き換えることで、信頼性の高いモデル集約とインcentive駆動型の協働を可能にする分散型フレームワーク、Blockchained On-Device Federated Learning（BlockFL）を提案する。エンドツーエンドの遅延をモデル化し、ブロック生成レートを最適化することで、マイナーの障害が発生しても、通常のFLよりも低い学習遅延を達成する。PoWと報酬メカニズムを用いることで、証明可能なセキュリティと公平性を備えた、堅牢でスケーラブルなオンデバイス学習を実現する。

ABSTRACT

By leveraging blockchain, this letter proposes a blockchained federated learning (BlockFL) architecture where local learning model updates are exchanged and verified. This enables on-device machine learning without any centralized training data or coordination by utilizing a consensus mechanism in blockchain. Moreover, we analyze an end-to-end latency model of BlockFL and characterize the optimal block generation rate by considering communication, computation, and consensus delays.

研究の動機と目的

• 中央サーバーをブロックチェーンに置き換えることで、中央集権型フェデレーテッドラーニング（FL）における単一障害点とインセンティブ欠如の問題を解決すること。
• 生のデータを共有せずにオンデバイス機械学習を可能にし、プライバシーを保持しながら、モデル更新の交換と検証を可能にすること。
• 通信、計算、コンセンサス遅延をモデル化することで、分散型FLシステムにおけるエンドツーエンドの学習遅延を特定・最小化すること。
• ブロックチェーンの分散型レッテルとコンセンサスメカニズムを活用して、マイナーの不具合や悪意ある行動に対するシステムのレジリエンスを確保すること。
• データ寄与度に比例する公平な報酬メカニズムを設計し、より大きなデータセットを持つデバイスの参加を促すこと。

提案手法

• BlockFLアーキテクチャは、デバイスとマイナーのネットワークを用い、デバイスが割り当てられたマイナーにローカルモデル更新をアップロードする。
• マイナーはモデル更新を検証し、PoW（Proof-of-Work）を用いて新しいブロックを生成するための競争に参加する。生成されたブロックは暗号的にブロックチェーンにリンクされる。
• 各デバイスで最新のブロックからローカルにグローバルモデル更新を再計算することで、一貫性と個々の障害に対するレジリエンスを確保する。
• 待ち時間、ブロック伝搬遅延、PoW計算時間の合算によりエンドツーエンド遅延モデルを導出する。最適化変数としてブロック生成レート（λ）を用いる。
• 遅延モデルがλに関して凸であることが示され、合計学習遅延を最小化する最適なブロック生成レートλ*を解析的に導出可能である。
• システムは、データ寄与度に比例する報酬メカニズムを統合し、大規模データセットを持つデバイスの参加をインセンティブ化する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングを、単一障害点に強く、かつデータプライバシーを保持する分散型にどのように改善できるか？
• RQ2 エンドツーエンドの学習遅延を最小化するため、ブロックチェーンベースのフェデレーテッドラーニングシステムにおける最適なブロック生成レートは何か？
• RQ3 不具合を示すマイナーが存在する場合、分散型FL環境における学習遅延とモデル整合性にどのような影響を与えるか？
• RQ4 中央集権型FLと比較して、ブロックチェーンベースのコンセンサスは、オンデバイスフェデレーテッドラーニングにおける公平性とセキュリティをどの程度向上させるか？
• RQ5 エネルギー制限とマイナーの利用可能性は、BlockFLシステムのスケーラビリティとパフォーマンスにどのように影響を与えるか？

主な発見

• 凸な遅延モデルから導出された最適ブロック生成レートλ*は、シミュレーテッド最小値と比較して、平均的な学習完了遅延を最大1.5%短縮する。
• 複数のマイナーが使用される場合、特にマイナーの不具合が発生する状況下でも、BlockFLは通常のFL（1人のマイナー）よりも低い学習遅延を達成する。
• マイナー数（NM=10）が増加すると、障害時の遅延が低減され、故障したマイナーは関連するデバイスにのみ影響を及ぼすため、フェイルセーフが実現される。
• シミュレーションでは、BlockFLは通常のFL（約95%）と同等のテスト精度を維持しながら、大幅にレジリエンスと分散性が向上している。
• 5ブロック経過後、悪意あるマイナーによる「取り替え確率」が10^-6未満に低下し、誠実多数条件下での強力なセキュリティ保証を示している。
• マイナー参加のためのエネルギー閾値（θe）を低く設定することで、障害時の遅延が低減し、アクティブなマイナー数が増加し、システムのレジリエンスが向上する。