[论文解读] Incentivizing Collaboration in Machine Learning via Synthetic Data Rewards

Sebastian Shenghong Tay, Xinyi Xu+2 more|arXiv (Cornell University)|Dec 17, 2021

Privacy-Preserving Technologies in Data被引用 8

一句话总结

本文提出了一种协作生成建模（CGM）框架，通过将合成数据作为奖励分发，激励自利方贡献数据，采用基于最大均值差异（MMD）的数据估值函数和基于线性优化的奖励方案。该方法通过按各方贡献比例生成合成数据，确保奖励的公平性与任务无关性，已在MNIST、CIFAR-10和医学影像数据集上通过实证验证，奖励与贡献保持一致。

ABSTRACT

This paper presents a novel collaborative generative modeling (CGM) framework that incentivizes collaboration among self-interested parties to contribute data to a pool for training a generative model (e.g., GAN), from which synthetic data are drawn and distributed to the parties as rewards commensurate to their contributions. Distributing synthetic data as rewards (instead of trained models or money) offers task- and model-agnostic benefits for downstream learning tasks and is less likely to violate data privacy regulation. To realize the framework, we firstly propose a data valuation function using maximum mean discrepancy (MMD) that values data based on its quantity and quality in terms of its closeness to the true data distribution and provide theoretical results guiding the kernel choice in our MMD-based data valuation function. Then, we formulate the reward scheme as a linear optimization problem that when solved, guarantees certain incentives such as fairness in the CGM framework. We devise a weighted sampling algorithm for generating synthetic data to be distributed to each party as reward such that the value of its data and the synthetic data combined matches its assigned reward value by the reward scheme. We empirically show using simulated and real-world datasets that the parties' synthetic data rewards are commensurate to their contributions.

研究动机与目标

• 解决在协作机器学习中激励自利方贡献数据的同时保护数据隐私的挑战。
• 克服以训练好的模型作为奖励的局限性，例如任务特异性和模型架构选择灵活性降低的问题。
• 开发一种与任务和模型无关的奖励机制，使各方能够实现未来适应性和实验灵活性。
• 通过理论基础坚实的数据估值函数量化数据贡献，确保奖励的公平性。
• 设计一种加权采样算法，生成的合成数据奖励与各方根据贡献分配的价值相匹配。

提出的方法

• 提出一种基于MMD的数据估值函数，通过数据与真实数据分布的接近程度来衡量数据的质量与数量，并提供核选择的理论指导。
• 将奖励分配形式化为线性优化问题，以在CGM框架中保证公平性与激励相容性。
• 引入一种加权采样算法，生成的合成数据奖励使得原始数据与合成数据的总价值与各方分配的奖励值相匹配。
• 采用逆温度超参数β来控制生成的合成样本数量与其与原始数据差异程度之间的权衡。
• 使用UMAP可视化合成数据分布，以验证高贡献方获得的合成数据更多且更具差异性。
• 将该框架应用于真实世界数据集，包括MNIST、CIFAR-10和医学影像数据，合成数据通过GAN生成。

实验结果

研究问题

• RQ1 能否将合成数据用作公平且保护隐私的奖励机制，以激励协作机器学习中的数据共享？
• RQ2 如何定量衡量数据贡献，使其能同时反映数量与质量，尤其是在缺乏真实标签的情况下？
• RQ3 线性优化框架在多方协作环境中能否确保奖励按贡献公平且成比例地分配？
• RQ4 逆温度参数β在多大程度上控制了合成样本数量与其与原始数据差异程度之间的权衡？
• RQ5 所提出的框架在不同数据划分和分布类型（均等与非均等）下是否保持奖励的可比性？

主要发现

• 通过多个数据集和划分方式的MMD-based估值函数验证，合成数据奖励始终与各方贡献成比例，保持一致。
• 数据贡献更高的方（αi）获得了更多的合成数据点，表明贡献与奖励规模之间存在正相关性。
• 随着β增大，各方生成的合成样本数量减少，但其与原始数据的差异性增加，证实了β对权衡的控制作用。
• 在MNIST数据集的均等划分中，奖励值r_i分别为0.199、0.206、0.269、0.255和0.276，与基于贡献的预期分布高度一致。
• 在CIFAR-10数据集的非均等划分中，奖励值r_i分别为0.133、0.129、0.0436、0.0715和0.0307，准确反映了贡献差异。
• 使用UMAP的可视化结果表明，合成数据点的分布与贡献水平和β设置一致，更不透明（更早采样）的红色点代表高奖励方。