[论文解读] Collaborative Machine Learning Markets with Data-Replication-Robust Payments

Olga Ohrimenko, Shruti Tople+1 more|arXiv (Cornell University)|Nov 8, 2019

Privacy-Preserving Technologies in Data参考文献 13被引用 13

一句话总结

本文提出一个协作式机器学习市场，各方贡献训练数据并指定验证任务以获取定制化模型，采用一种新颖的基于Shapley值的支付机制，对数据复制具有鲁棒性。该系统确保收入公平分配，并通过将参与费用与验证任务挂钩以及使用任务特定的模型定制，防止数据复制的激励。

ABSTRACT

We study the problem of collaborative machine learning markets where multiple parties can achieve improved performance on their machine learning tasks by combining their training data. We discuss desired properties for these machine learning markets in terms of fair revenue distribution and potential threats, including data replication. We then instantiate a collaborative market for cases where parties share a common machine learning task and where parties' tasks are different. Our marketplace incentivizes parties to submit high quality training and true validation data. To this end, we introduce a novel payment division function that is robust-to-replication and customized output models that perform well only on requested machine learning tasks. In experiments, we validate the assumptions underlying our theoretical analysis and show that these are approximately satisfied for commonly used machine learning models.

研究动机与目标

• 解决在数据分布在多个参与方的协作式机器学习市场中，激励高质量数据共享的挑战。
• 通过确保各方无法因提交重复数据集而获得经济优势，防止诸如数据复制等策略性行为。
• 基于Shapley值实现公平的收入分配，同时保护数据隐私与完整性。
• 设计一个市场机制，使得各方仅接收针对特定任务的模型，而非原始数据，以防止数据泄露或滥用。
• 确保支付机制对复制行为具有鲁棒性，且不会不公平地惩罚诚实贡献者

提出的方法

• 使用基于参与方特定验证任务上模型性能的新型特征函数，结合Shapley值计算公平的数据贡献。
• 引入与验证任务复杂度或价值成比例的参与费用，以抑制无成本的数据复制行为。
• 训练仅对指定验证任务有效的定制化模型，防止其在其他任务中被重用。
• 利用安全硬件（如Intel SGX）确保数据机密性与完整性，并通过远程认证建立信任。
• 在云环境中实现市场机制，数据在加密状态下处理，运行于隔离的飞地（enclaves）中，不暴露明文数据。
• 结合数据估值、任务特定的模型训练以及基于费用的参与机制，构建自洽的激励结构

实验结果

研究问题

• RQ1 如何在协作式机器学习市场中，根据数据贡献的真实价值公平补偿各方？
• RQ2 哪些机制可防止各方通过多次提交同一数据集来获得不公平优势？
• RQ3 如何在保护数据隐私的同时，仍能实现准确的模型训练与公平的支付分配？
• RQ4 Shapley值能否在多方协作的机器学习场景中，被调整为对数据复制具有鲁棒性？
• RQ5 任务特定的模型定制在防止数据泄露与滥用方面发挥什么作用？

主要发现

• 所提出的支付机制确保，即使复制方数量增加，其联合Shapley值也不会超过单一诚实参与方的值。
• 在使用新特征函数时，诚实参与方的Shapley值保持稳定且与复制方群体的值相等，证明复制行为并无收益。
• 实验结果证实，用于Shapley值计算的理论假设在逻辑回归等常用模型上近似成立。
• 在市场中训练的定制化模型仅在请求的验证任务上表现良好，有效防止了滥用或向其他任务的转移。
• 与验证任务挂钩的参与费用机制，有效平衡了复制的成本与潜在收益，消除了数据复制的动机。
• 安全飞地（如Intel SGX）通过确保数据在隔离环境中处理且从不以明文形式暴露，为市场提供了信任保障。