[论文解读] Dealer: End-to-End Data Marketplace with Model-based Pricing

Jinfei Liu|arXiv (Cornell University)|Mar 29, 2020

Privacy-Preserving Technologies in Data参考文献 24被引用 5

一句话总结

本文提出Dealer，一个基于模型定价的端到端数据市场，利用Shapley值公平量化数据所有者对模型的贡献，并采用基于动态规划的定价机制，在确保无套利定价的前提下最大化收益。该方法使数据所有者能够强制执行使用限制，使模型买家可根据其预算和效用需求从一系列定制化模型中进行选择，DP-Dealer则提供了正式的隐私与经济保障。

ABSTRACT

Data-driven machine learning (ML) has witnessed great successes across a variety of application domains. Since ML model training are crucially relied on a large amount of data, there is a growing demand for high quality data to be collected for ML model training. However, from data owners' perspective, it is risky for them to contribute their data. To incentivize data contribution, it would be ideal that their data would be used under their preset restrictions and they get paid for their data contribution. In this paper, we take a formal data market perspective and propose the first en extbf{\underline{D}}-to- extbf{\underline{e}}nd d extbf{\underline{a}}ta marketp extbf{\underline{l}}ace with mod extbf{\underline{e}}l-based p extbf{\underline{r}}icing (\emph{Dealer}) towards answering the question: \emph{How can the broker assign value to data owners based on their contribution to the models to incentivize more data contribution, and determine pricing for a series of models for various model buyers to maximize the revenue with arbitrage-free guarantee}. For the former, we introduce a Shapley value-based mechanism to quantify each data owner's value towards all the models trained out of the contributed data. For the latter, we design a pricing mechanism based on models' privacy parameters to maximize the revenue. More importantly, we study how the data owners' data usage restrictions affect market design, which is a striking difference of our approach with the existing methods. Furthermore, we show a concrete realization DP-\emph{Dealer} which provably satisfies the desired formal properties. Extensive experiments show that DP-\emph{Dealer} is efficient and effective.

研究动机与目标

• 设计一个数据市场，根据数据所有者对训练好的机器学习模型的贡献程度实现公平补偿。
• 使数据所有者能够对其数据指定使用限制，确保控制权与隐私。
• 使模型买家能够从一系列质量与价格各不相同的模型中进行选择，以匹配其效用与预算需求。
• 在维持无套利定价与所有参与方公平性的前提下，最大化中介的收益。
• 正式建模并实现一种差分隐私版本（DP-Dealer），满足隐私与经济保障要求。

提出的方法

• 使用Shapley值量化每个数据所有者对每个训练模型的边际贡献，确保公平补偿。
• 引入基于模型的定价机制，根据其隐私参数和买家效用，为多个模型实例设定不同价格。
• 采用动态规划高效搜索完整的解空间以实现最优定价，避免暴力计算。
• 构建完整的模型定价解空间，综合考虑所有可能的模型与买家之间的价格组合。
• 设计DP-Dealer作为具体实现，满足差分隐私与无套利定价保障。
• 将数据所有者使用的限制作为市场设计中的约束条件，影响模型训练、定价与补偿分配。

实验结果

研究问题

• RQ1 在数据市场中，如何根据数据所有者对机器学习模型的贡献实现公平补偿？
• RQ2 中介如何为一系列模型设定最优价格，以在确保无套利机会的前提下最大化收益？
• RQ3 数据所有者的使用限制如何影响数据市场中模型的制造、定价与补偿分配？
• RQ4 如何为模型买家提供不同质量与价格的模型选择，以匹配其效用与预算？
• RQ5 如何正式设计一个数据市场，以同时满足隐私、公平性与收益最大化要求？

主要发现

• 在独立分布与高斯分布的调查价格数据集上，DP-Dealer的收益均比基线方法（如Dealer与Linear）高出至少10%。
• Dealer+通过为效用相近的模型对设定相同价格，战略性地提升可负担性比率与收益，表现优于Dealer与Linear。
• Dealer与Dealer+中基于动态规划的定价算法在价格点数量上呈线性扩展，即使在标准PC上处理12,500个价格点，运行时间也控制在亚分钟级。
• 由于价格组合数量呈指数级增长，完全穷举基线方法（Base与BaseAppr）在计算上不可行，凸显了所提方法的高效性。
• 实验表明，Dealer与Dealer+在不同价格分布类型（包括独立分布与高斯分布）下均表现出稳健性能。
• 所提框架成功将数据所有者的使用限制整合至市场设计中，相比现有方案，实现了更安全可信的市场环境。