[論文レビュー] Proof of Federated Learning: A Novel Energy-recycling Consensus Algorithm

Xidi Qu, Shengling Wang+2 more|arXiv (Cornell University)|Dec 26, 2019

Privacy-Preserving Technologies in Data参考文献 21被引用数 13

ひとこと要約

本稿では、従来の計算集約的プuzzleに代わり、フェデレーテッドラーニングタスクを用いることで、エネルギーを再利用する新しい共通化アルゴリズム「フェデレーテッドラーニングの証明（PoFL）」を提案する。このフレームワークは、逆ゲームベースのデータ取引メカニズムと、同型暗号と安全な二成人間計算を用いたプライバシー保護型モデル検証プロトコルにより、データの機微性を確保する。シミュレーションでは、高い効率性と有効性が示された。

ABSTRACT

Proof of work (PoW), the most popular consensus mechanism for Blockchain, requires ridiculously large amounts of energy but without any useful outcome beyond determining accounting rights among miners. To tackle the drawback of PoW, we propose a novel energy-recycling consensus algorithm, namely proof of federated learning (PoFL), where the energy originally wasted to solve difficult but meaningless puzzles in PoW is reinvested to federated learning. Federated learning and pooled-ming, a trend of PoW, have a natural fit in terms of organization structure. However, the separation between the data usufruct and ownership in Blockchain lead to data privacy leakage in model training and verification, deviating from the original intention of federal learning. To address the challenge, a reverse game-based data trading mechanism and a privacy-preserving model verification mechanism are proposed. The former can guard against training data leakage while the latter verifies the accuracy of a trained model with privacy preservation of the task requester's test data as well as the pool's submitted model. To the best of our knowledge, our paper is the first work to employ federal learning as the proof of work for Blockchain. Extensive simulations based on synthetic and real-world data demonstrate the effectiveness and efficiency of our proposed mechanisms.

研究の動機と目的

• ブロックチェーンにおける従来のProof of Work (PoW) の膨大なエネルギー浪費を解消し、計算エネルギーを有用なタスクに再利用すること。
• データ所有権と使用が分離されているオープンブロックチェーン環境に統合されたフェデレーテッドラーニングにおいて、データ漏洩リスクを克服すること。
• テストデータやモデル重みを暴露せずに、モデルの正確性を検証する安全で効率的なメカニズムを設計すること。
• プールマイニングのスケーラビリティとフェデレーテッドラーニングのプライバシー利点を組み合わせた実用的なブロックチェーン共通化メカニズムを実現すること。

提案手法

• プールマイニングに参加するマイナーが局所的なモデル更新を提供し、グローバルモデルを学習する一般化されたPoFLフレームワークを提案。PoWのプuzzleに代わるものとして機能する。
• モデルの正確性、暗号化されたテストラベル、および安全な検証のための同型暗号を含む新しいPoFLブロック構造を設計。
• プールが訓練データを漏洩させないようインcentivizeする逆ゲームベースのデータ取引メカニズムを導入。これにより、誠実な行動と利得が一致する。
• モデル検証中に予測ラベルと真値を安全に比較するために同型暗号を採用。これにより、テストデータの機微性が保持される。
• モデルの正確性を、タスクリクエスターとプールの間で比較する際、モデルやテストデータを露呈せずに実現するため、安全な二成人間計算を用いる。
• 合成データおよび実世界のデータを用いてシステムをシミュレートし、さまざまな条件下での効率性、正確性、およびプライバシーを評価。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングをブロックチェーン共通化における暗号的プuzzleの代替として効果的に使用できるか。これにより、浪費されたマイニングエネルギーが再利用可能か。
• RQ2 訓練データがマイナーが所有しているが、モデルがパブリックブロックチェーン環境で学習される場合、どのようにしてデータプライバシーを保護できるか。
• RQ3 プールが訓練データを漏洩させないようインcentivizeするためのメカニズムは何か。同時に、誠実に参加するインcentiveが保証されるか。
• RQ4 テストデータやモデル重みを信頼できない相手に暴露せずに、どのようにしてモデル正確性を検証できるか。
• RQ5 プライバシー保護型検証の時間的オーバーヘッドとスケーラビリティは、それぞれどの程度か。

主な発見

• PoFLにおいて、フルノードがモデル正確性をソートおよび検証するのに要する時間は、9,364ノードでも60マイクロ秒未満であり、高いスケーラビリティを示している。
• 暗号化されたテストデータを用いたフルノードによるモデル正確性の検証に要する平均時間は1.65〜1.7秒であり、合計検証時間は2秒を超えない。
• 逆ゲームベースのデータ取引メカニズムにより、データが機微のまま保たれる場合にのみ利得が最大化されるため、プールがデータ漏洩を回避するようインセンティブが与えられていることが成功裏に確認された。
• プライバシー保護型モデル検証メカニズムにより、タスクリクエスターのテストデータおよびプールのモデルが、正確性比較中に露出するのを効果的に防いでいる。
• 合成データおよび実世界データを用いたシミュレーションにより、PoFLが高いモデル正確性を達成すると同時に、強固なプライバシー保証と低遅延検証を維持していることが確認された。
• PoFLは、ブロックチェーンにおけるフェデレーテッドラーニングをPoWメカニズムとして統合した最初の研究であり、従来のPoWに代わる持続可能でプライバシー保護型の代替手段を提供している。