[論文レビュー] A Platform-Free Proof of Federated Learning Consensus Mechanism for Sustainable Blockchains

Yuntao Wang, Haixia Peng+4 more|arXiv (Cornell University)|Aug 23, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、PF-PoFLを提案する。PF-PoFLは、PoWマイニングで無駄に消費されるエネルギーをフェデレーテッドラーニング（FL）に再利用することで、マイナー間で安全でプライバシー保護されたAIモデル学習を可能にする、プラットフォームフリーで分散型の合意形成メカニズムである。新規のブロック構造、クレジットベースのインcentive、およびゲーム理論的連合形成メカニズムを統合することにより、PF-PoFLは、全探索解と比較して2.1%以内の性能差でほぼ最適な社会的福祉を達成し、非協力的マイニングに比べて最大67%高い効率性を実現する。

ABSTRACT

Proof of work (PoW), as the representative consensus protocol for blockchain, consumes enormous amounts of computation and energy to determine bookkeeping rights among miners but does not achieve any practical purposes. To address the drawback of PoW, we propose a novel energy-recycling consensus mechanism named platform-free proof of federated learning (PF-PoFL), which leverages the computing power originally wasted in solving hard but meaningless PoW puzzles to conduct practical federated learning (FL) tasks. Nevertheless, potential security threats and efficiency concerns may occur due to the untrusted environment and miners' self-interested features. In this paper, by devising a novel block structure, new transaction types, and credit-based incentives, PF-PoFL allows efficient artificial intelligence (AI) task outsourcing, federated mining, model evaluation, and reward distribution in a fully decentralized manner, while resisting spoofing and Sybil attacks. Besides, PF-PoFL equips with a user-level differential privacy mechanism for miners to prevent implicit privacy leakage in training FL models. Furthermore, by considering dynamic miner characteristics (e.g., training samples, non-IID degree, and network delay) under diverse FL tasks, a federation formation game-based mechanism is presented to distributively form the optimized disjoint miner partition structure with Nash-stable convergence. Extensive simulations validate the efficiency and effectiveness of PF-PoFL.

研究の動機と目的

• 従来のプルーフ・オブ・ワーク（PoW）ブロックチェーンにおける莫大なエネルギー浪費を解消するため、計算能力を実用的なAI学習に再利用すること。
• 中央集権的プラットフォームや信頼できるキュレーターに依存せずに、分散型で安全かつプライバシー保護されたフェデレーテッドラーニング（FL）を可能にすること。
• データ、非IID度、ネットワーク遅延といった異種マイナー特性に適応する自己組織的マイナー集約形成メカニズムを設計し、最適なFLパフォーマンスを達成すること。
• 信頼できない環境においても、合意形成効率性とモデル品質を維持しながら、スプーフィングおよびシビル攻撃に対して耐性を持つこと。

提案手法

• FLタスクのアウトソーシング、モデル評価、報酬分配をブロックチェーン上でするための新規ブロック構造および新規トランザクションタイプを導入する。
• 分散型FLマイニングにおける誠実な参加を促進し、合意形成効率を向上させるクレジットベースのインcentiveメカニズムを採用する。
• マイナー間でのフェデレーテッドラーニングモデル学習中に生じる暗黙のプライバシー漏洩を防ぐために、ユーザーレベルの微分プライバシー機構を設計する。
• ナッシュ安定な収束を示す連合形成ゲーム（FFG-TU）を提案し、異種特性に基づいてマイナーが非交差で最適化されたプールに自己組織的に分類できるようにする。
• 財務決済の強制と中央集権的調整なしのレーダー整合性の維持を目的として、モデルランク付けコントラクトおよびブロック報酬コントラクトを用いる。
• 変動するFLタスク要件およびマイナーの異質性に適応する動的プール形成アルゴリズムを適用し、高い社会的福祉と低いブロック遅延を確保する。

実験結果

リサーチクエスチョン

• RQ1 中央集権的プラットフォームや信頼できるキュレーターに依存せずに、PoWマイニングで浪費されるエネルギーを実用的なフェデレーテッドラーニングに効果的に再利用できるか？
• RQ2 スプーフィングおよびシビル攻撃に耐性を持ち、分散型で安全かつプライバシー保護されたFL合意形成メカニズムをどのように設計できるか？
• RQ3 異なるデータ品質、非IID分布、ネットワーク遅延を有する異種環境下で、最適な方法で非交差マイナープールを形成するにはどうすればよいか？
• RQ4 クレジットベースのインcentiveとゲーム理論的メカニズムを用いて、自己組織的かつ安定的で効率的かつナッシュ安定なプール形成をどのように実現できるか？
• RQ5 提案されたPF-PoFLメカニズムは、全探索および固定プールベースラインと比較して、どの程度ほぼ最適な社会的福祉を達成できるか？

主な発見

• 提案されたFFG-TUゲームは、7イタレーション後に全探索最適解と比較して2.1%以内の性能差でほぼ最適な社会的福祉を達成する。
• PF-PoFLは、非協力的マイニング方式に比べて社会的福祉を最大67%向上させるとともに、同じ条件下でPoFL方式[15]に比べ17.6%向上する。
• 連合形成アルゴリズムは7イタレーション後にナッシュ安定な非交差分割構造に収束し、安定的かつ効率的なマイナーの自己組織的分類を示している。
• 1イタレーションあたりのスイッチ操作回数は、|∑(h)| ≤ |ℑ(h)| + 1 で有界であり、アルゴリズムの収束性と動的プール再構成における効率性を裏付けている。
• システムは、異種学習条件下でも低ブロック遅延を維持し、UDP保証のもとでモデルパフォーマンスを確保している。
• ユーザーレベルの微分プライバシー機構は、マイナー間でのフェデレーテッドモデル学習中に暗黙のプライバシー漏洩を効果的に防止している。