[论文解读] A Marketplace for Data: An Algorithmic Solution

Anish Agarwal, Munther A. Dahleh+1 more|arXiv (Cornell University)|May 21, 2018

Auction Theory and Applications参考文献 41被引用 18

一句话总结

本文提出了一种用于机器学习训练数据的实时、算法化数据市场，解决了数据可复制性、组合价值和验证困难等挑战。该研究引入了一种基于 Myerson 支付函数和乘法权重算法的诚实、零遗憾拍卖机制，并提出了一种针对可复制商品的协作博弈中新型公平性概念，实现了高效且稳健的数据交易。

ABSTRACT

In this work, we aim to design a data marketplace; a robust real-time matching mechanism to efficiently buy and sell training data for Machine Learning tasks. While the monetization of data and pre-trained models is an essential focus of industry today, there does not exist a market mechanism to price training data and match buyers to sellers while still addressing the associated (computational and other) complexity. The challenge in creating such a market stems from the very nature of data as an asset: (i) it is freely replicable; (ii) its value is inherently combinatorial due to correlation with signal in other data; (iii) prediction tasks and the value of accuracy vary widely; (iv) usefulness of training data is difficult to verify a priori without first applying it to a prediction task. As our main contributions we: (i) propose a mathematical model for a two-sided data market and formally define the key associated challenges; (ii) construct algorithms for such a market to function and analyze how they meet the challenges defined. We highlight two technical contributions: (i) a new notion of 'fairness' required for cooperative games with freely replicable goods; (ii) a truthful, zero regret mechanism to auction a class of combinatorial goods based on utilizing Myerson's payment function and the Multiplicative Weights algorithm. These might be of independent interest.

研究动机与目标

• 设计一个实时、算法化的数据市场，实现机器学习任务中训练数据的高效、诚实且公平的交易。
• 解决数据作为数字资产所特有的挑战：可自由复制、组合价值、缺乏先验估值，以及在事前难以验证其有用性。
• 形式化一个包含买家、卖家和中央市场平台的双边市场模型，捕捉现实机器学习应用中数据交易的动态特性。
• 开发确保诚实出价、收入最大化以及在数据相关性和复制背景下公平分配给卖家收入的机制。
• 提供关于效率、诚实性和对复制的鲁棒性的理论保证，同时兼顾实际可扩展性。

提出的方法

• 提出一个包含明确定义角色的双边数据市场数学模型：买家（机器学习从业者）、卖家（数据提供方）以及中央市场平台。
• 为涉及可自由复制商品的协作博弈提出一种新型公平性概念，确保在数据复制的情况下也能实现收入的公平分配。
• 设计一种用于组合数据包的诚实、零遗憾拍卖机制，采用 Myerson 支付函数和乘法权重算法。
• 采用相似性度量（SM）检测相关特征，并应用惩罚函数对冗余或高度相关的数据进行降权，以激励独特且高价值的贡献。
• 开发收入分配算法（如 AF*、RF*、PF*），基于边际贡献和特征相似性计算公平份额，时间复杂度为 O(M) 或 O(M²)。
• 推导出在给定相似性度量下，使惩罚函数对复制具有鲁棒性的充要条件，确保市场稳定性。

实验结果

研究问题

• RQ1 如何设计一个实时数据市场，以公平且高效的方式匹配训练数据的买家与卖家，考虑到数据作为数字、可复制且具有组合价值的资产的独特属性？
• RQ2 在数据价值仅在应用于预测任务后才能揭示的情况下，何种机制可确保买家诚实出价？
• RQ3 当特征相关且数据可自由复制时，如何公平地分配收入给卖家？
• RQ4 何种条件可确保收入分配机制对相同或高度相似数据的复制保持鲁棒性？
• RQ5 能否使用可扩展算法构建一种用于组合数据包的诚实、零遗憾拍卖机制？

主要发现

• 所提出的机制通过利用 Myerson 支付函数和乘法权重算法，确保了买家的诚实出价和零遗憾，使组合拍卖中的高效在线学习成为可能。
• 所提出的公平性概念专为涉及可自由复制商品的协作博弈而设计，为数据市场中的公平收入共享提供了基础。
• 该算法框架在分配上实现 O(M) 复杂度，在收入分配上实现 O(M²) 复杂度，使得中等规模特征集的实时部署成为可能。
• 推导出使惩罚函数对复制具有鲁棒性的充要条件，确保即使卖家复制其数据，收入分配仍保持稳定。
• 命题 5.1 表明，匿名化卖家身份将导致无法同时满足平衡性和公平性条件，揭示了一个关键的设计权衡。
• 该框架通过降权相关特征并激励独特且具有预测性的贡献，实现了高效、可扩展且公平的数据交易。