[論文レビュー] Towards On-Device Federated Learning: A Direct Acyclic Graph-based Blockchain Approach

Mingrui Cao, Long Zhang+1 more|arXiv (Cornell University)|Apr 27, 2021

Privacy-Preserving Technologies in Data参考文献 33被引用数 8

ひとこと要約

本稿では、リソース集約的なマイニングを必要とせず、効率的で非同期的なデバイス内フェデレーテッドラーニング（FL）を可能にする、ブロックチェーンを活用したフェデレーテッドラーニングフレームワークDAG-FLを提案する。直接循環グラフ（DAG）共通認識メカニズムを用いることで、ノード間でモデル検証と共通認識を分散化し、PoWベースおよび同期型FLシステムと比較して遅延を低減し、セキュリティを強化するとともに、学習効率と正確性を向上させる。

ABSTRACT

Due to the distributed characteristics of Federated Learning (FL), the vulnerability of global model and coordination of devices are the main obstacle. As a promising solution of decentralization, scalability and security, leveraging blockchain in FL has attracted much attention in recent years. However, the traditional consensus mechanisms designed for blockchain like Proof of Work (PoW) would cause extreme resource consumption, which reduces the efficiency of FL greatly, especially when the participating devices are wireless and resource-limited. In order to address device asynchrony and anomaly detection in FL while avoiding the extra resource consumption caused by blockchain, this paper introduces a framework for empowering FL using Direct Acyclic Graph (DAG)-based blockchain systematically (DAG-FL). Accordingly, DAG-FL is first introduced from a three-layer architecture in details, and then two algorithms DAG-FL Controlling and DAG-FL Updating are designed running on different nodes to elaborate the operation of DAG-FL consensus mechanism. After that, a Poisson process model is formulated to discuss that how to set deployment parameters to maintain DAG-FL stably in different federated learning tasks. The extensive simulations and experiments show that DAG-FL can achieve better performance in terms of training efficiency and model accuracy compared with the typical existing on-device federated learning systems as the benchmarks.

研究の動機と目的

• リソースが異なる多様なモバイルデバイスが存在する状況下での、デバイス内フェデレーテッドラーニングにおけるデバイス非同期性に対処すること。
• リソース制限のあるモバイル環境において、PoW（プルーフ・オブ・ワーク）のような従来のブロックチェーン共通認識メカニズムの高いリソース消費を克服すること。
• 中央集権的またはマイニングノードに依存せずに、分散型の異常検出を可能にすること。
• デバイスの非同期性および異常行動下でも、モデル収束性と正確性を維持するスケーラブルで安全かつ効率的なフレームワークを設計すること。
• FL、DAG、アプリケーションレイヤーを統合した三層アーキテクチャを提案し、分散型で効率的かつ安全なモデルトレーニングと検証を支援すること。

提案手法

• 三層アーキテクチャを導入：FLレイヤー（ローカルモデルトレーニング）、DAGレイヤー（共通認識とトランザクション管理）、アプリケーションレイヤー（調整と監視）。
• 二つのコアアルゴリズムを設計：DAG-FL Controlling（DAGのトウ選択と共通認識開始の管理）、DAG-FL Updating（モデルアップデートの検証と伝搬）。
• ポアソン過程モデルを用いて、システム安定性とパフォーマンスを確保するための最適な展開パラメータ（例：トウ数、スタリネス閾値）を解析的に特定する。
• すべての参加ノードに共通認識とモデル検証を分散化し、専用マイナーの必要性を排除し、リソースオーバーヘッドを低減する。
• DAGの投票共通認識メカニズムを活用して、マイニングを伴わず、非同期的かつスケーラブルで安全なモデル集約を実現する。
• 各ノードでのローカルモデル検証を統合し、異常なアップデートを検出し緩和することで、中央集権的信頼を必要とせずにグローバルモデルの完全性を保証する。

実験結果

リサーチクエスチョン

• RQ1 DAGベースのブロックチェーンフレームワークは、リソース消費を最小限に抑えつつ、非同期的でデバイス内フェデレーテッドラーニングをどのようにサポートできるか？
• RQ2 マイニングや中央集権的調整者に依存せずに、分散型FLシステムにおける安全で効率的な共通認識を確保するためのメカニズムは何か？
• RQ3 プライバシーを保ちつつ、分散型のFL環境で異常なノード行動をどのように検出し緩和できるか？
• RQ4 システム安定性と収束性を維持するための最適な展開パラメータ（例：トウ数、スタリネス閾値）は何か？
• RQ5 DAG-FLフレームワークは、既存のPoWベースおよび同期型FLシステムと比較して、学習効率とモデル正確性の面でどの程度優れているか？

主な発見

• DAG-FLは、デバイス非同期性が顕著な状況下でも、ベンチマークとしての同期型およびPoWベースのFLシステムと比較して、高いシステム効率と優れたモデル正確性を達成している。
• フレームワークは異常ノードに対して強く耐性を示し、分散型のローカル検証によりその影響を効果的に検出し緩和している。
• ポアソン過程モデルにより、最適な展開パラメータ（例：DAGのトウ数、スタリネス処理）をガイドすることで、システムの安定稼働が可能になった。
• 実環境テストベッドでの実験により、DAG-FLが高安定性と高効率性を維持していることが確認され、実世界のデバイス内FL環境における実用的妥当性が裏付けられた。
• マイナーとマイニングのオーバーヘッドを排除することで、DAG-FLはリソース消費を削減しながら、収束速度やモデル品質を維持または向上させている。
• システムはデバイス非同期性に強く、高いノード異質性と動的な参加状況下でも、強固なパフォーマンスを維持している。