[论文解读] A Marketplace for Trading AI Models based on Blockchain and Incentives for IoT Data

Lam Duc Nguyen, Shashi Raj Pandey+3 more|arXiv (Cornell University)|Dec 6, 2021

Blockchain Technology Applications and Security被引用 16

一句话总结

本文提出了一种基于区块链的市场机制，用于在联邦学习环境中交易人工智能模型，其中物联网设备通过贡献本地数据来提升模型质量，并根据其贡献程度获得激励，贡献程度通过分布式数据Shapley值（DSV）进行衡量。该系统通过分布式账本技术确保信任与公平性，并实现了15%的执行成本降低，同时实现公平的激励分配。

ABSTRACT

As Machine Learning (ML) models are becoming increasingly complex, one of the central challenges is their deployment at scale, such that companies and organizations can create value through Artificial Intelligence (AI). An emerging paradigm in ML is a federated approach where the learning model is delivered to a group of heterogeneous agents partially, allowing agents to train the model locally with their own data. However, the problem of valuation of models, as well the questions of incentives for collaborative training and trading of data/models, have received limited treatment in the literature. In this paper, a new ecosystem of ML model trading over a trusted Blockchain-based network is proposed. The buyer can acquire the model of interest from the ML market, and interested sellers spend local computations on their data to enhance that model's quality. In doing so, the proportional relation between the local data and the quality of trained models is considered, and the valuations of seller's data in training the models are estimated through the distributed Data Shapley Value (DSV). At the same time, the trustworthiness of the entire trading process is provided by the distributed Ledger Technology (DLT). Extensive experimental evaluation of the proposed approach shows a competitive run-time performance, with a 15\% drop in the cost of execution, and fairness in terms of incentives for the participants.

研究动机与目标

• 解决AI模型和物联网数据交易中缺乏可扩展性、隐私保护和激励相容机制的问题。
• 在分布式环境中，通过扩展的数据Shapley值（DSV）实现对联邦学习中数据贡献的公平估值。
• 设计一种去中心化、无需信任的市场机制，利用区块链和智能合约实现模型交易与激励分配。
• 确保数据隐私，并消除模型训练和数据交换过程中的单点故障风险。
• 在真实物联网场景中，实证评估系统的性能、公平性与成本效率。

提出的方法

• 系统使用基于区块链的分布式账本记录模型交易、数据贡献和激励发放，确保透明性与不可篡改性。
• 提出了一种改进的数据Shapley值（DSV），以在联邦学习设置中公平量化每个物联网设备对模型性能提升的贡献。
• 参与者（物联网设备）在其私有数据上本地训练全局模型，并将更新后的模型权重提交给市场聚合器。
• 以太坊区块链上的智能合约自动执行激励机制，根据计算出的DSV值分配奖励。
• 系统集成了声誉机制，以遏制恶意行为并确保数据质量。
• 该方法支持动态模型更新，并能处理物联网设备间异构的数据分布。

实验结果

研究问题

• RQ1 如何设计一个去中心化的AI模型交易市场，以确保模型和数据交换过程中的信任、透明性与公平性？
• RQ2 在不暴露原始数据的前提下，如何有效公平地评估并激励物联网设备在联邦学习中的贡献？
• RQ3 与现有方法相比，所提出的基于DSV的激励机制在运行时效率和成本降低方面表现如何？
• RQ4 区块链与联邦学习的集成是否能够缓解单点故障和数据隐私违规的风险？
• RQ5 数据质量和数据分布异构性对所提系统中模型性能和激励公平性有何影响？

主要发现

• 与基线方法相比，所提系统实现了15%的执行成本降低，证明了其更高的效率。
• 基于DSV的激励机制确保了奖励的公平分配，参与者获得的补偿与其数据对模型质量的贡献成正比。
• 在存在噪声数据的场景下，Multi-Cal方法表现更优，实现了约10%的运行时性能提升和15%更高的最大差异值（D_max）。
• 系统在多种数据分布下均保持了强劲性能，AFS和Single-Cal在干净数据场景中表现更优。
• 区块链与智能合约的集成提供了端到端的信任保障与可审计性，消除了对中心化聚合器的依赖。
• 实验评估证实，移除DSV值较低的数据会降低模型性能，验证了DSV估值方法的准确性。