[论文解读] DataBright: Towards a Global Exchange for Decentralized Data Ownership and Trusted Computation

David Dao, Dan Alistarh+2 more|arXiv (Cornell University)|Feb 13, 2018

Blockchain Technology Applications and Security参考文献 3被引用 11

一句话总结

DataBright 提出了一种去中心化的全球数据与可信计算交换平台，使数据贡献者能够成为股东，在其数据或硬件被用于机器学习训练时获得分红。通过结合基于以太坊的智能合约与英特尔 SGX 实现可信执行，以及混合验证（TMR、模型分割），该系统在性能开销最小的前提下，实现了可验证的隐私保护计算——在两块 GPU 上采用双路模型分割时，VGG-16 训练耗时 225 分钟。

ABSTRACT

It is safe to assume that, for the foreseeable future, machine learning, especially deep learning will remain both data- and computation-hungry. In this paper, we ask: Can we build a global exchange where everyone can contribute computation and data to train the next generation of machine learning applications? We present an early, but running prototype of DataBright, a system that turns the creation of training examples and the sharing of computation into an investment mechanism. Unlike most crowdsourcing platforms, where the contributor gets paid when they submit their data, DataBright pays dividends whenever a contributor's data or hardware is used by someone to train a machine learning model. The contributor becomes a shareholder in the dataset they created. To enable the measurement of usage, a computation platform that contributors can trust is also necessary. DataBright thus merges both a data market and a trusted computation market. We illustrate that trusted computation can enable the creation of an AI market, where each data point has an exact value that should be paid to its creator. DataBright allows data creators to retain ownership of their contribution and attaches to it a measurable value. The value of the data is given by its utility in subsequent distributed computation done on the DataBright computation market. The computation market allocates tasks and subsequent payments to pooled hardware. This leads to the creation of a decentralized AI cloud. Our experiments show that trusted hardware such as Intel SGX can be added to the usual ML pipeline with no additional costs. We use this setting to orchestrate distributed computation that enables the creation of a computation market. DataBright is available for download at https://github.com/ds3lab/databright.

研究动机与目标

• 解决传统众包与云计算在机器学习领域中激励机制缺失与所有权模糊的问题。
• 构建一个去中心化市场，使数据贡献者保有所有权，并在其数据或硬件被使用时获得分红。
• 利用混合验证技术，在不受信任的硬件上实现可信且可验证的计算。
• 在保障数据隐私与完整性的同时，降低可信计算的性能开销。
• 证明可信硬件可被无缝集成到标准机器学习流水线中，且运行时成本极低。

提出的方法

• 通过以太坊智能合约实现去中心化数据市场，使贡献者能够提交数据提案，并通过铸造代币成为股东。
• 数据管理者使用计算代币对提案进行投票，被接受的数据将存储在区块链上的不可篡改注册表中。
• 可信计算市场利用支持英特尔 SGX 的设备，通过三重模块冗余（TMR）在不受信任的 GPU 上调度并验证计算。
• 模型分割将神经网络分布在不受信任的计算节点上，以防止完整模型暴露，同时分层传递激活值与梯度。
• 通过周期性重新分配，将每个不受信任计算节点的数据暴露量限制在训练集的 5% 以内，以防止数据泄露。
• 使用 VGG-16 在 ImageNet 上进行实验，采用 1–2 块 GPU，对比标准、分割与 TMR 配置下的性能开销。

实验结果

研究问题

• RQ1 如何通过长期所有权与基于分红的奖励机制，激励数据贡献者持续提供高质量数据？
• RQ2 混合使用可信与不可信硬件是否能够实现可验证的机器学习训练，且性能开销可接受？
• RQ3 哪些机制可确保在使用不可信计算资源时的数据隐私并防止数据泄露？
• RQ4 在分布式、去中心化的环境中，模型分割如何影响训练性能与通信成本？
• RQ5 可信硬件（如英特尔 SGX）在不造成显著性能下降的前提下，能在多大程度上被集成到标准深度学习流水线中？

主要发现

• 使用英特尔 SGX 进行调度与数据传输引入的开销可忽略不计，在双路分割配置下每轮仅增加 93 毫秒。
• 在两块 GPU 上采用双路模型分割训练 VGG-16 耗时 225 分钟，而标准单 GPU 训练仅需 193 分钟。
• 三重模块冗余（TMR）在不受信任的计算节点上实现可验证计算，引入了约 3 倍的性能开销。
• 结合模型分割与 TMR 后，总开销约为 6 倍，尽管作者认为通过优化可进一步降低。
• 在多节点环境下，通信开销显著，尤其在非分割配置下，受 1Gbps 网络链路速度限制影响明显。
• 该系统证明了可信硬件可被高效集成到标准机器学习流水线中，性能损失极小，从而支持构建去中心化的 AI 云。