[論文レビュー] DLBC: A Deep Learning-Based Consensus in Blockchains for Deep Learning Services

Boyang Li, Changhao Chenli+3 more|arXiv (Cornell University)|Apr 15, 2019

Blockchain Technology Applications and Security被引用数 8

ひとこと要約

本稿では、ブロックチェーンにおける深層学習ベースのコンSENSUSメカニズムであるDLBCを提案する。DLBCは、マイナーの計算能力をエネルギー集中的なハッシュ計算の代わりに、深層学習モデルの学習に再利用することで、エネルギーの無駄を削減する。タスクスケジューリング、難易度スコアランクイングシステム、DNNウォーターマーキングによるモデル所有権保護を統合することで、医療画像データセットにおけるFCNやU-Netといった大規模モデルの効率的で安全かつスケーラブルな学習を可能にし、最小限のオーバーヘッド（例：0.98秒の平均デジタル署名時間）と、ウォーターマーキングの削除による盗難に対する高いペナルティを備えた強力なモデル盗難防止機能を実現する。

ABSTRACT

With the increasing artificial intelligence application, deep neural network (DNN) has become an emerging task. However, to train a good deep learning model will suffer from enormous computation cost and energy consumption. Recently, blockchain has been widely used, and during its operation, a huge amount of computation resources are wasted for the Proof of Work (PoW) consensus. In this paper, we propose DLBC to exploit the computation power of miners for deep learning training as proof of useful work instead of calculating hash values. it distinguishes itself from recent proof of useful work mechanisms by addressing various limitations of them. Specifically, DLBC handles multiple tasks, larger model and training datasets, and introduces a comprehensive ranking mechanism that considers tasks difficulty(e.g., model complexity, network burden, data size, queue length). We also applied DNN-watermark [1] to improve the robustness. In Section V, the average overhead of digital signature is 1.25, 0.001, 0.002 and 0.98 seconds, respectively, and the average overhead of network is 3.77, 3.01, 0.37 and 0.41 seconds, respectively. Embedding a watermark takes 3 epochs and removing a watermark takes 30 epochs. This penalty of removing watermark will prevent attackers from stealing, improving, and resubmitting DL models from honest miners.

研究の動機と目的

• ブロックチェーンにおける従来のプルーフ・オブ・ワーク（PoW）コンセンサスの高いエネルギー消費と計算リソースの無駄を是正すること。
• 既存のプルーフ・オブ・ユーフル・ワーク（PoUW）メカニズムの限界、たとえば大規模モデルの処理が不可能であること、複数のタスクを処理できないこと、強固なモデル所有権保護ができないことに対処すること。
• 動的報酬メカニズムにより、タスク発行者にトレーニングタスクを提示するインcentiveを提供することで、持続可能なブロックチェーン運用を実現すること。
• ウォーターマーキング方式を用いて、マイナーが提出する深層学習モデルの知的財産権を保護すること。この方式は、モデルの盗難に際して高いコストを課す。
• タスクスケジューラーと難易度スコアリングシステムを導入することで、マイナーが最適かつバランスの取れた作業負荷に従事できるようにし、採掘の公平性と一貫性を確保すること。

提案手法

• メモリプールに未確認かつ未選択のトレーニングタスクを格納できるようにブロックチェーンのメモリプールを拡張し、タスクの永続性と負荷分散を実現する。
• モデルの複雑さ、データサイズ、ネットワーク負荷、キュー長に基づいて各トレーニングタスクに新しい難易度スコアを導入し、マイナーの選択を支援する。
• ブロックレベルのタスクスケジューラーを実装し、ブロック間隔内のすべてのマイナーが同じ選択済みタスクを処理するようにすることで、コンセンサスの維持と公平性を確保する。
• ブロックデータ構造に現在のタスクと保留中のタスクを追加することで、トレーニングワークロードの透明性と検証可能性を向上させる。
• DNNウォーターマーキングをモデルトレーニングパイプラインに統合し、モデル重みに一意で検出可能なシグネチャを埋め込むことで、所有権の検証を可能にする。
• デジタル署名にSHA-256を適用し、モデル送信中のネットワークオーバーヘッドを評価することで、全体のパフォーマンスに与える影響を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 マイナーの計算能力をハッシュ計算の代わりに深層学習モデルのトレーニングに再利用するブロックチェーンコンセンサスメカニズムを設計可能か？ これによりエネルギーの無駄が削減されるか？
• RQ2 多様で非一様な複雑さの深層学習タスクを処理するブロックチェーンシステムにおいて、公平性と一貫性をどのように維持できるか？
• RQ3 公開かつ分散型の環境下で、マイナーが提出する深層学習モデルのセキュリティと所有権をどのように保護できるか？
• RQ4 長期的なブロックチェーン運用を維持するため、タスク発行者が高品質で大規模なトレーニングタスクを提示するインセンティブをどのように提供できるか？
• RQ5 ブロックチェーンコンセンサスプロセスに深層学習トレーニングとウォーターマーキングを統合した際のパフォーマンスオーバーヘッドは何か？ これは実用上許容可能か？

主な発見

• さまざまなタスク（FCN、MNIST、ARS）における平均デジタル署名オーバーヘッドは0.001〜1.25秒の範囲にあり、暗号的検証にかかる計算コストが低いことが示された。
• モデル検証のためのネットワーク送信オーバーヘッドは最小限に抑えられ、平均で0.37〜3.77秒であり、FCNのような大規模モデルのトレーニング時間に比べて著しく小さいことが分かった。
• DNNウォーターマーキングの埋め込みにはたった3エポックで十分であり、逆に完全に削除するには約30エポックを要するため、モデル盗難に対する強い抑止力が得られた。
• 誠実なマイナーは5回未満のイテレーションで高いウォーターマーキング信頼度を達成し、ウォーターマーキング方式の信頼性と検出可能性が確認された。
• DLBCを介してトレーニングされたFCNおよびU-Netモデルは、高いセグメンテーション精度を達成しており、FCNは0.85のDiceスコアに達し、3D心臓CTデータにおいてU-Netと同等の結果を得た。
• 初期トレーニング後にモデルの性能が飽和することを検出することで、システムはダブルスペンディング攻撃を効果的に防止した。これは、さらなるトレーニングが利益をもたらさないため、悪意ある攻撃者がそれを悪用する動機を持たないことを示している。