[论文解读] DLBC: A Deep Learning-Based Consensus in Blockchains for Deep Learning Services

Boyang Li, Changhao Chenli+3 more|arXiv (Cornell University)|Apr 15, 2019

Blockchain Technology Applications and Security被引用 8

一句话总结

本文提出DLBC，一种基于深度学习的区块链共识机制，将矿工的计算能力重新用于训练深度学习模型，而非执行能耗密集型的哈希计算。通过整合任务调度、难度评分排名系统以及DNN水印技术以保护模型所有权，DLBC实现了对生物医学数据集上大型模型（如FCN和U-Net）的高效、安全且可扩展的训练，仅带来极低开销（例如，平均数字签名时间为0.98秒），并能通过水印移除惩罚机制有效抵御模型盗用。

ABSTRACT

With the increasing artificial intelligence application, deep neural network (DNN) has become an emerging task. However, to train a good deep learning model will suffer from enormous computation cost and energy consumption. Recently, blockchain has been widely used, and during its operation, a huge amount of computation resources are wasted for the Proof of Work (PoW) consensus. In this paper, we propose DLBC to exploit the computation power of miners for deep learning training as proof of useful work instead of calculating hash values. it distinguishes itself from recent proof of useful work mechanisms by addressing various limitations of them. Specifically, DLBC handles multiple tasks, larger model and training datasets, and introduces a comprehensive ranking mechanism that considers tasks difficulty(e.g., model complexity, network burden, data size, queue length). We also applied DNN-watermark [1] to improve the robustness. In Section V, the average overhead of digital signature is 1.25, 0.001, 0.002 and 0.98 seconds, respectively, and the average overhead of network is 3.77, 3.01, 0.37 and 0.41 seconds, respectively. Embedding a watermark takes 3 epochs and removing a watermark takes 30 epochs. This penalty of removing watermark will prevent attackers from stealing, improving, and resubmitting DL models from honest miners.

研究动机与目标

• 解决传统工作量证明（PoW）共识机制在区块链中造成的高能耗与计算浪费问题。
• 克服现有有用工作证明（PoUW）机制的局限性，例如无法处理大型模型、多任务或具备强健的模型所有权保护能力。
• 通过动态奖励机制激励任务发布者提交训练任务，实现区块链的可持续运行。
• 利用一种水印方案保护矿工提交的深度学习模型的知识产权，使模型盗用行为付出高昂代价。
• 通过引入任务调度器和难度评分系统，确保挖矿过程的公平性与一致性，引导矿工选择最优、均衡的工作负载。

提出的方法

• 扩展区块链的内存池以存储未确认且未被选中的训练任务，实现任务持久化与负载均衡。
• 为每个训练任务引入一种新颖的难度评分，基于模型复杂度、数据规模、网络负担和队列长度，以指导矿工选择。
• 实现一种区块级任务调度器，确保在同一个区块时间段内所有矿工均针对同一选定任务工作，从而维持共识与公平性。
• 增强区块数据结构，包含当前和待处理的任务，以实现训练工作负载的透明性与可验证性。
• 将DNN水印技术集成到模型训练流程中，以在模型权重中嵌入唯一且可检测的签名，实现所有权验证。
• 采用SHA-256进行数字签名，并评估模型传输过程中的网络开销，以确保对整体性能影响最小。

实验结果

研究问题

• RQ1 能否设计一种区块链共识机制，使矿工的计算能力用于训练深度学习模型而非哈希计算，从而减少能源浪费？
• RQ2 在矿工执行多样化、非均匀的复杂度各异的深度学习任务的区块链系统中，如何维持公平性与一致性？
• RQ3 在公开、分布式的环境中，应采用何种机制确保矿工提交的深度学习模型的安全性与所有权？
• RQ4 系统应如何激励任务发布者提交高质量、大规模的训练任务，以维持区块链的长期运行？
• RQ5 将深度学习训练与水印技术集成到区块链共识流程中的性能开销是多少？该开销在实际应用中是否可接受？

主要发现

• 不同任务（FCN、MNIST、ARS）的平均数字签名开销在0.001至1.25秒之间，表明密码验证的计算成本极低。
• 模型验证的网络传输开销极小，平均为0.37至3.77秒，远低于FCN等大型模型的训练时间。
• 嵌入DNN水印仅需3个训练周期，而成功移除水印则需约30个周期，对模型盗用行为形成强大威慑。
• 诚实矿工在少于5次迭代内即可达到高水印置信度，证实了水印机制的可靠性与可检测性。
• 通过DLBC训练的FCN和U-Net模型实现了高分割精度，FCN达到0.85的Dice分数，U-Net在3D心脏CT数据上也取得了相当的结果。
• 该系统通过检测初始训练后模型性能的饱和状态，有效防止了双花攻击，表明进一步训练无收益，因而无法获利攻击。