[論文レビュー] Data Market Platforms: Trading Data Assets to Solve Data Problems

Raul Castro Fernandez, Pranav Subramaniam+1 more|arXiv (Cornell University)|Feb 3, 2020

Privacy-Preserving Technologies in Data参考文献 63被引用数 14

ひとこと要約

本稿では、市場メカニズムを用いてインcentiveを整合化することで、データ共有、発見、統合における重要な課題を解決するためのデータマーケットプラットフォームを提案する。データを価格設定、発見、統合が市場インfraストラクチャを通じて管理される取引可能資産として扱うことで、組織は利益を上げてデータを共有でき、消費者は自身のニーズに適合した統合済みデータセットにアクセスできる。

ABSTRACT

Data only generates value for a few organizations with expertise and resources to make data shareable, discoverable, and easy to integrate. Sharing data that is easy to discover and integrate is hard because data owners lack information (who needs what data) and they do not have incentives to prepare the data in a way that is easy to consume by others. In this paper, we propose data market platforms to address the lack of information and incentives and tackle the problems of data sharing, discovery, and integration. In a data market platform, data owners want to share data because they will be rewarded if they do so. Consumers are encouraged to share their data needs because the market will solve the discovery and integration problem for them in exchange for some form of currency. We consider internal markets that operate within organizations to bring down data silos, as well as external markets that operate across organizations to increase the value of data for everybody. We outline a research agenda that revolves around two problems. The problem of market design, or how to design rules that lead to the outcomes we want, and the systems problem, how to implement the market and enforce the rules. Treating data as a first-class asset is sorely needed to extend the value of data to more organizations, and we propose data market platforms as one mechanism to achieve this goal.

研究の動機と目的

• データ共有が、必要なデータが何であるかの情報不足と、データ所有者がデータを準備・共有するインセンティブが不足しているという根本的問題によって妨げられているという点を解決する。
• オープンデータポータルやデータレイクといった現在のデータ共有モデルの非効率性（発見や統合に膨大な手作業が必要）を克服する。
• 組織内（内部）および組織間（外部）のデータマーケットを可能にし、データスロットルを解体し、データの有用性を高める。
• データ所有者が共有に対して報酬を得る仕組みと、消費者が自身のデータニーズを表明するインcentiveを提供するシステムを設計することで、供給と需要のより良い一致を実現する。
• データをデータ駆動型組織におけるファーストクラスマネージドアセットとするために、市場設計とシステム実装に焦点を当てた研究アジェンダを確立する。

提案手法

• 需要に応じてデータ所有者が報酬を得る市場ベースのアーキテクチャを提案し、価格設定と収益配分メカニズムを用いて共有を奨励する。
• 取引を仲介する役割（マーケットオペレータ）を導入し、取引の支援、データ品質の保証、プライバシー保護を前提としたデータ共有を実現する。
• 消費者の需要シグナルを活用してデータキュレーショングや選定をガイドするプロトコルを設計することで、エンドユーザーの負担を軽減する。
• 複数のデータセットを統合して高品質で統一された出力を得るためのデータ融合および真実発見技術を統合する。
• 既存のデータ管理システムやツール（例：データカタログ、ETLパイプライン、クエリ最適化）を、データマーケットプラットフォーム内の構築ブロックとして活用する。
• 市場ダイナミクス（価格戦略、品質保証、統合効率など）を評価するために、シミュレーションとシステムモデリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてデータマーケットプラットフォームを設計することで、データ所有者が高品質でドキュメント化されたデータを提供するインセンティブを得られるようにできるか？
• RQ2 どのような市場メカニズム（例：価格設定、収益分配）を用いることで、データ消費者が購入前に信頼できる品質保証を得られるようにできるか？
• RQ3 複数の部分的なデータセットを、手作業による統合を必要とせずに、複雑な消費者クエリを満たす形で、効率的に発見・統合できるか？
• RQ4 自動化されたデータ統合と真実発見技術は、市場駆動型のデータ統合パイプライン内で、データ品質をどのように向上させられるか？
• RQ5 組織内での内部データマーケットは、従来のデータレイクやデータウェアハウスモデルと比較して、どのようにしてデータスロットルを低減させ、データの有用性を高められるか？

主な発見

• データマーケットプラットフォームは、データ所有者がデータを準備・公開するインセンティブを明確にすることで、データ共有の障壁を顕著に低減できる。
• 市場メカニズムにより、データの発見と統合を自動化でき、手作業によるデータの前処理（データワラッピング）の必要性が低下し、分析パイプラインの高速化が可能になる。
• 消費者ニーズを集約することで、データマーケットはデータ所有者が消費者にとってより有用な形式でデータをキュレートするよう誘導でき、データの有用性が向上する。
• 市場フレームワーク内にデータ融合および真実発見技術を統合することで、下流の分析に向けたデータの品質と信頼性が向上する。
• AnyLog、データカタログ（例：Amundsen、Databook）、データ統合プラットフォーム（例：Civilizer、BigGorilla）といった既存のシステムは、完全なデータマーケットプラットフォームに拡張可能な基盤的コンponentsを提供している。
• 提案されたフレームワークにより、組織内および組織間のデータ交換が可能となり、医療、金融、IoTなどの分野において価値の解禁が見込まれる。