[论文解读] Model-based Pricing for Machine Learning in a Data Marketplace

Lingjiao Chen, Paraschos Koutris+1 more|arXiv (Cornell University)|May 26, 2018

Privacy-Preserving Technologies in Data参考文献 20被引用 4

一句话总结

本文提出了一种基于模型的定价（MBP）框架，直接对机器学习模型实例进行定价，而非原始数据，通过噪声注入机制控制模型准确率并防止套利。该方法实现了低运行时、实时的定价，具有高收入和高可负担性，已在合成数据集和真实数据集上通过大量实验得到验证。

ABSTRACT

Data analytics using machine learning (ML) has become ubiquitous in science, business intelligence, journalism and many other domains. While a lot of work focuses on reducing the training cost, inference runtime and storage cost of ML models, little work studies how to reduce the cost of data acquisition, which potentially leads to a loss of sellers' revenue and buyers' affordability and efficiency. In this paper, we propose a model-based pricing (MBP) framework, which instead of pricing the data, directly prices ML model instances. We first formally describe the desired properties of the MBP framework, with a focus on avoiding arbitrage. Next, we show a concrete realization of the MBP framework via a noise injection approach, which provably satisfies the desired formal properties. Based on the proposed framework, we then provide algorithmic solutions on how the seller can assign prices to models under different market scenarios (such as to maximize revenue). Finally, we conduct extensive experiments, which validate that the MBP framework can provide high revenue to the seller, high affordability to the buyer, and also operate on low runtime cost.

研究动机与目标

• 解决现有数据市场定价中的低效问题，即高昂的数据获取成本限制了买家的可负担性与卖家的收入。
• 通过确保高准确率模型永远不会比低准确率模型更便宜，消除机器学习模型市场中的套利机会。
• 提供一种实用且高效的定价机制，使卖家能够基于模型准确率而非数据量来设定价格。
• 使买家能够在预算范围内选择模型，同时保持高模型效用和可负担性。
• 设计一种支持在不同市场条件下实现收入最大化和动态定价的框架。

提出的方法

• MBP框架根据注入预训练最优模型的高斯噪声方差来定价机器学习模型实例。
• 噪声注入确保模型误差随噪声方差单调增加，从而实现对准确率和价格的精确控制。
• 中介使用价格-误差曲线将噪声方差映射到价格，使买家可根据预算和准确率需求选择模型。
• 一种动态收入优化算法计算最优价格-误差曲线以最大化卖家收入，具有多项式时间复杂度。
• 该框架在形式上被证明可防止套利，通过确保误差相对于噪声方差的单调性。
• 实验对比了MBP与MILP、线性及启发式定价方法，结果表明MBP在显著更低的运行时下实现了接近最优的收入。

实验结果

研究问题

• RQ1 如何设计一种机器学习模型定价框架，既能防止套利，又能使预算受限的买家保持可负担性？
• RQ2 何种机制能够实现基于准确率和价格的机器学习模型实例的实时、低运行时定价？
• RQ3 当卖家提供多个准确率和价格各不相同的模型实例时，如何实现收入最大化？
• RQ4 噪声注入方法在多大程度上能维持对模型误差和定价单调性的形式保证？
• RQ5 与现有定价方法相比，MBP框架在收入、可负担性和运行时效率方面表现如何？

主要发现

• MBP框架在所有测试数据集和买家分布下，均实现了接近最优的收入——收入水平在MILP最优解的50%以内。
• 运行时性能显示，MBP显著快于MILP，其运行时间呈二次方增长，而MILP随价格点数量呈指数增长。
• MBP保持了高可负担性，所有实验中可负担率比均稳定高于0.8，优于或匹配其他方法。
• 噪声注入机制在形式上保证了误差随噪声方差单调增加，从而彻底消除了套利机会。
• 尽管方法简单，MBP在收入和可负担性方面仍优于朴素的线性定价和基于中位数的定价方法，即使后两者运行更快。
• 该框架在多种买家估值曲线下均表现稳健，在大多数现实场景中性能接近理论最优值。