[논문 리뷰] Data Market Platforms: Trading Data Assets to Solve Data Problems

Raul Castro Fernandez, Pranav Subramaniam외 1명|arXiv (Cornell University)|2020. 02. 03.

Privacy-Preserving Technologies in Data참고 문헌 63인용 수 14

한 줄 요약

이 논문은 데이터 공유, 탐색, 통합의 핵심 과제를 시장 기반 메커니즘을 통해 인cent리브를 조율함으로써 해결하기 위한 데이터 마켓 플랫폼을 제안한다. 데이터를 가격 책정, 탐색, 통합이 시장 인프라에 의해 관리되는 거래 가능한 자산으로 간주함으로써, 조직은 수익성을 확보한 채 데이터를 공유하고, 소비자는 자신의 필요에 맞게 통합된 데이터 세트에 접근할 수 있다.

ABSTRACT

Data only generates value for a few organizations with expertise and resources to make data shareable, discoverable, and easy to integrate. Sharing data that is easy to discover and integrate is hard because data owners lack information (who needs what data) and they do not have incentives to prepare the data in a way that is easy to consume by others. In this paper, we propose data market platforms to address the lack of information and incentives and tackle the problems of data sharing, discovery, and integration. In a data market platform, data owners want to share data because they will be rewarded if they do so. Consumers are encouraged to share their data needs because the market will solve the discovery and integration problem for them in exchange for some form of currency. We consider internal markets that operate within organizations to bring down data silos, as well as external markets that operate across organizations to increase the value of data for everybody. We outline a research agenda that revolves around two problems. The problem of market design, or how to design rules that lead to the outcomes we want, and the systems problem, how to implement the market and enforce the rules. Treating data as a first-class asset is sorely needed to extend the value of data to more organizations, and we propose data market platforms as one mechanism to achieve this goal.

연구 동기 및 목표

• 데이터 공유가 정보 부족(필요한 데이터가 무엇인지)과 데이터 소유자가 데이터를 준비하고 공유할 동기가 부족하기 때문에 저해되고 있는 근본적인 문제를 해결한다.
• 오픈 데이터 포털과 데이터 레이크와 같은 기존 데이터 공유 모델의 비효율성을 극복한다. 이러한 모델은 탐색과 통합에 상당한 수동 작업이 필요하다.
• 내부(조직 내부) 및 외부(조직 간) 데이터 마켓을 통해 데이터 사각지대를 해소하고 데이터 유용성을 높인다.
• 데이터 소유자가 공유에 보상받고, 소비자가 자신의 데이터 수요를 표현하도록 유도하는 시스템을 설계함으로써 공급과 수요 간의 보다 나은 일치를 이룬다.
• 데이터 마켓 플랫폼의 설계와 구현을 위한 연구 계획을 수립하여 데이터 기반 조직에서 데이터를 제1의 자산으로 만들 수 있도록 한다.

제안 방법

• 수요에 기반해 데이터 소유자가 보상받는 시장 기반 아키텍처를 제안하며, 가격 책정 및 수익 배분 메커니즘을 통해 데이터 공유를 유도한다.
• 거래를 촉진하고 데이터 품질 보장을 관리하며, 개인정보 보호를 고려한 데이터 공유를 보장하는 중재자(시장 운영자)의 역할을 도입한다.
• 소비자 수요 신호를 활용해 데이터 정제 및 선택을 이끄는 프로토콜을 설계함으로써, 최종 사용자 부담을 줄인다.
• 다중 데이터 세트를 통합하여 소비자 요구사항을 충족하는 고급 품질의 통합 출력물을 생성하기 위해 데이터 융합 및 진실 탐색 기법을 통합한다.
• 기존 데이터 관리 시스템 및 도구(예: 데이터 카탈로그, ETL 파이프라인, 쿼리 최적화)를 데이터 마켓 플랫폼 내 빌딩 블록으로 활용한다.
• 시장 역학, 가격 전략, 품질 보장, 통합 효율성 등을 평가하기 위해 시뮬레이션 및 시스템 모델링을 활용한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 데이터 마켓 플랫폼을 설계하여 데이터 소유자가 고품질이고 잘 문서화된 데이터를 공유하도록 동기를 부여할 수 있는가?
• RQ2 어떤 시장 메커니즘(예: 가격 책정, 수익 공유)을 통해 데이터 소비자가 데이터셋을 구매하기 전에 신뢰할 수 있는 품질 보장을 받을 수 있는가?
• RQ3 어떻게 하면 복잡한 소비자 쿼리를 충족시키기 위해 부분적인 다수의 데이터 세트를 효율적으로 탐색하고 통합할 수 있는가? 이 과정에서 수동 통합이 필요로 하지 않도록 하는가?
• RQ4 자동화된 데이터 융합 및 진실 탐색 기법은 마켓 기반 데이터 통합 파이프라인 내에서 데이터 품질을 향상시키는 데 어떤 역할을 할 수 있는가?
• RQ5 조직 내부의 데이터 마켓은 전통적인 데이터 레이크나 웨어하우스 모델에 비해 데이터 사각지대를 어떻게 줄이고 데이터 유용성을 향상시킬 수 있는가?

주요 결과

• 데이터 마켓 플랫폼은 데이터 소유자가 데이터를 준비하고 게시하도록 명확한 동기를 제공함으로써 데이터 공유의 마찰을 크게 줄일 수 있다.
• 시장 메커니즘은 데이터 탐색과 통합을 자동화하여 수동 데이터 정제의 필요성을 줄이고 분석 파이프라인의 속도를 높일 수 있다.
• 소비자 수요를 집계함으로써 데이터 마켓는 데이터 소유자가 소비자에게 더 유용한 형식으로 데이터를 정제하도록 이끌 수 있으며, 이는 데이터 유용성을 향상시킨다.
• 시장 프레임워크 내에서 데이터 융합 및 진실 탐색 기법을 통합하면, 후속 분석을 위한 데이터 품질과 신뢰성 향상에 기여할 수 있다.
• AnyLog, 데이터 카탈로그(예: Amundsen, Databook), 데이터 통합 플랫폼(예: Civilizer, BigGorilla)과 같은 기존 시스템은 전체 데이터 마켓 플랫폼으로 확장할 수 있는 기초 구성 요소를 제공한다.
• 제안된 프레임워크는 조직 내외의 데이터 교환을 가능하게 하며, 헬스케어, 금융, IoT와 같은 분야에서 가치를 해방할 잠재력을 지닌다.