[论文解读] Data Market Platforms: Trading Data Assets to Solve Data Problems

Raul Castro Fernandez, Pranav Subramaniam+1 more|arXiv (Cornell University)|Feb 3, 2020

Privacy-Preserving Technologies in Data参考文献 63被引用 14

一句话总结

本文提出数据市场平台作为一种机制，通过基于市场的激励机制，解决数据共享、发现和集成中的关键挑战。通过将数据视为可交易资产，其定价、发现和集成均由市场基础设施管理，该平台使组织能够盈利地共享数据，使消费者能够访问量身定制的集成数据集。

ABSTRACT

Data only generates value for a few organizations with expertise and resources to make data shareable, discoverable, and easy to integrate. Sharing data that is easy to discover and integrate is hard because data owners lack information (who needs what data) and they do not have incentives to prepare the data in a way that is easy to consume by others. In this paper, we propose data market platforms to address the lack of information and incentives and tackle the problems of data sharing, discovery, and integration. In a data market platform, data owners want to share data because they will be rewarded if they do so. Consumers are encouraged to share their data needs because the market will solve the discovery and integration problem for them in exchange for some form of currency. We consider internal markets that operate within organizations to bring down data silos, as well as external markets that operate across organizations to increase the value of data for everybody. We outline a research agenda that revolves around two problems. The problem of market design, or how to design rules that lead to the outcomes we want, and the systems problem, how to implement the market and enforce the rules. Treating data as a first-class asset is sorely needed to extend the value of data to more organizations, and we propose data market platforms as one mechanism to achieve this goal.

研究动机与目标

• 解决数据共享的根本问题：缺乏信息（所需数据是什么）以及数据所有者缺乏动力去准备和共享数据。
• 克服当前数据共享模式（如开放数据门户和数据湖）的低效问题，这些模式在发现和集成方面需要大量人工操作。
• 实现组织内部（组织内）和外部（跨组织）数据市场，打破数据孤岛，提升数据效用。
• 设计一个系统，使数据所有者因共享而获得奖励，消费者因表达其数据需求而受到激励，从而实现供需更好对齐。
• 建立一个以市场设计和系统实现为重点的研究议程，使数据在数据驱动型组织中成为第一类资产。

提出的方法

• 提出一种基于市场的架构，数据所有者根据需求获得补偿，通过定价和收入分配机制激励数据共享。
• 引入仲裁者（市场运营商）的角色，负责促成交易，管理数据质量保证，并确保隐私保护下的数据共享。
• 设计用于数据发现和集成的协议，利用消费者的需求信号指导数据整理和选择，减轻终端用户负担。
• 整合数据融合和真相发现技术，将多个数据集合并为更高质量、统一的输出，以满足消费者需求。
• 利用现有数据管理系统和工具（例如，数据目录、ETL流水线、查询优化）作为数据市场平台中的构建模块。
• 使用仿真和系统建模评估市场动态，包括定价策略、质量保证和集成效率。

实验结果

研究问题

• RQ1 如何设计数据市场平台，使其激励机制能促使数据所有者主动共享高质量、文档齐全的数据？
• RQ2 哪些市场机制（例如，定价、收入分成）可确保数据消费者在购买数据集前获得可靠的质量保证？
• RQ3 如何高效地发现和集成多个部分数据集，以满足复杂消费者查询，而无需人工集成？
• RQ4 自动化数据融合和真相发现技术在市场驱动的数据集成流程中，如何提升数据质量？
• RQ5 组织内部的数据市场相比传统数据湖或数据仓库模式，如何减少数据孤岛并提升数据效用？

主要发现

• 数据市场平台可通过为数据所有者提供明确激励，显著降低数据共享的摩擦，促使其准备并发布数据。
• 市场机制可自动实现数据发现与集成，减少对人工数据清洗的依赖，加快分析流水线速度。
• 通过聚合消费者需求，数据市场可引导数据所有者将数据整理为对消费者更有用的格式，从而提升数据效用。
• 在市场框架内整合数据融合与真相发现技术，可增强下游分析所需数据的质量与可靠性。
• 现有系统如 AnyLog、数据目录（例如，Amundsen、Databook）以及数据集成平台（例如，Civilizer、BigGorilla）提供了可扩展为完整数据市场平台的基础组件。
• 所提出的框架支持组织内部与跨组织的数据交换，具有在医疗、金融和物联网等领域的广泛应用潜力。