[論文レビュー] Proof of Learning (PoLe): Empowering Machine Learning with Consensus Building on Blockchains

Yixiao Lan, Yuan Liu+1 more|arXiv (Cornell University)|Jul 29, 2020

Blockchain Technology Applications and Security参考文献 23被引用数 8

ひとこと要約

本稿では、計算リソースをProof-of-Work (PoW) で使用されるものと同一のものとして、ニューラルネットワークの学習に再利用する、新しいブロックチェーン合意形成メカニズムであるProof of Learning (PoLe) を提案する。これにより、ブロックチェーンのセキュリティと機械学習の効率性の両方が向上する。安全なマッピング層（SML）を統合することで、不正行為を防止し、モデルの性能を維持しながら、実用的な機械学習の学習タスクを通じて、分散型でエネルギー効率の良い合意形成を実現する。

ABSTRACT

The progress of deep learning (DL), especially the recent development of automatic design of networks, has brought unprecedented performance gains at heavy computational cost. On the other hand, blockchain systems routinely perform a huge amount of computation that does not achieve practical purposes in order to build Proof-of-Work (PoW) consensus from decentralized participants. In this paper, we propose a new consensus mechanism, Proof of Learning (PoLe), which directs the computation spent for consensus toward optimization of neural networks (NN). In our mechanism, the training/testing data are released to the entire blockchain network (BCN) and the consensus nodes train NN models on the data, which serves as the proof of learning. When the consensus on the BCN considers a NN model to be valid, a new block is appended to the blockchain. We experimentally compare the PoLe protocol with Proof of Work (PoW) and show that PoLe can achieve a more stable block generation rate, which leads to more efficient transaction processing. We also introduce a novel cheating prevention mechanism, Secure Mapping Layer (SML), which can be straightforwardly implemented as a linear NN layer. Empirical evaluation shows that SML can detect cheating nodes at small cost to the predictive performance.

研究の動機と目的

• Proof-of-Work (PoW) ブロックチェーン合意形成における膨大な計算リソースの無駄と高いエネルギー消費を是正すること。
• ブロックチェーンマイニング作業を実用的な機械学習モデルの学習に再利用し、合意形成を現実世界のAI進歩と一致させること。
• 悪意あるノードが事前学習済みモデルの再利用や改ざんによって不正な報酬を得るのを防ぐための安全なメカニズムを設計すること。
• 提案された合意形成メカニズムが、学習済みモデルの高い予測性能を維持すること。
• PoWと比較して、PoLeが安定したブロック生成と効率的な取引処理を達成できることを示すこと。

提案手法

• PoLeは、非凸なニューラルネットワーク最適化タスクを非対称なパズルとして採用し、PoWのハッシュパズルを置き換える。このパズルを解くには、目標精度を満たすようにモデルを訓練する必要がある。
• 合意形成メカニズムは、安全なマッピング層（SML）を介して実装された関数暗号化方式を用いる。SMLは、各ブロックを前のブロックのハッシュに束縛する線形ニューラルネットワーク層である。
• SMLは、前のブロックのハッシュによって決定される方向に入力特徴を射影することで、異なるチェーンやブロック間での解決策の再利用を防止する。
• データノードは報酬付きの機械学習タスクを発表する。合意形成ノードは、最低限の訓練精度に達するまでモデルを訓練し、その後テストセットが公開されて汎化性能の評価が行われる。
• テストセットで最も高い性能を示したモデルが選ばれ、報酬が分配される。これにより、正当なモデル性能に関する合意が保証される。
• 有用なMLタスクが利用可能でない場合、システムはPoWに段階的に移行し、空き時間中もブロックチェーンの機能を維持する。

実験結果

リサーチクエスチョン

• RQ1 合意形成に必要な計算作業が、実用的な機械学習モデルの学習に直接貢献するようなブロックチェーン合意形成メカニズムを設計できるか？
• RQ2 ブロックチェーンは、悪意ある参加者が事前学習済みモデルを再利用または改ざんして不正な報酬を得るのをどのように防止できるか？
• RQ3 安全なマッピング層（SML）の統合が、学習済みニューラルネットワークの予測性能にどの程度影響を与えるか？
• RQ4 PoLeメカニズムは、従来のPoWと比較して、より安定したブロック生成レートと改善された取引処理効率を達成できるか？
• RQ5 提案されたシステムは、マイニング作業を実用的なAI学習に再利用する中で、データの完全性と合意形成のセキュリティを維持できるか？

主な発見

• PoLeは、PoWと比較してより安定したブロック生成レートを達成しており、これにより分散型データストレージと取引処理の応答性と効率性が向上する。
• 安全なマッピング層（SML）は、訓練時間に21%〜29%の増加をもたらすが、モデルの正確性への影響は最小限である。例えば、VGG-16はSMLを用いた場合99.70%の正確性を達成したが、SMLなしでは99.93%であった。
• 学習済みモデルからSML層を削除すると、テスト正確性は99.50%から13.48%に低下し、不正ノードの検出能力が顕著に高いことが示された。
• CIFAR-10データセットでは、SMLを搭載したVGG-16モデルが91.25%のテスト正確性を達成したが、元のモデルは91.70%であった。これはわずかな性能低下にとどまる。
• IRISデータセットにおけるMLPモデルでは、セキュア版とオリジナル版の両方で100%の正確性を達成しており、SMLが単純なタスクでは性能を低下させないことが確認された。
• 実験的結果から、PoLeは、MLベースの計算を通じて安全で分散型の合意形成を実現しつつ、高い予測性能を維持していることが確認された。