[論文レビュー] Dealer: End-to-End Data Marketplace with Model-based Pricing

Jinfei Liu|arXiv (Cornell University)|Mar 29, 2020

Privacy-Preserving Technologies in Data参考文献 24被引用数 5

ひとこと要約

本稿では、Shapley値を用いてデータ所有者の貢献を公平に評価し、動的計画法に基づく価格設定メカニズムにより収益を最大化するとともにアービタージュフリーな価格を保証するモデルベース価格設定を採用するエンドツーエンドのデータマーケットプレイス、Dealerを提案する。このアプローチにより、データ所有者は使用制限を設定可能となり、モデル購入者は自身の予算と利便性ニーズに合った複数のモデルから選択可能となる。DP-Dealerは、プライバシーおよび経済的保証を形式的に満たす。

ABSTRACT

Data-driven machine learning (ML) has witnessed great successes across a variety of application domains. Since ML model training are crucially relied on a large amount of data, there is a growing demand for high quality data to be collected for ML model training. However, from data owners' perspective, it is risky for them to contribute their data. To incentivize data contribution, it would be ideal that their data would be used under their preset restrictions and they get paid for their data contribution. In this paper, we take a formal data market perspective and propose the first en extbf{\underline{D}}-to- extbf{\underline{e}}nd d extbf{\underline{a}}ta marketp extbf{\underline{l}}ace with mod extbf{\underline{e}}l-based p extbf{\underline{r}}icing (\emph{Dealer}) towards answering the question: \emph{How can the broker assign value to data owners based on their contribution to the models to incentivize more data contribution, and determine pricing for a series of models for various model buyers to maximize the revenue with arbitrage-free guarantee}. For the former, we introduce a Shapley value-based mechanism to quantify each data owner's value towards all the models trained out of the contributed data. For the latter, we design a pricing mechanism based on models' privacy parameters to maximize the revenue. More importantly, we study how the data owners' data usage restrictions affect market design, which is a striking difference of our approach with the existing methods. Furthermore, we show a concrete realization DP-\emph{Dealer} which provably satisfies the desired formal properties. Extensive experiments show that DP-\emph{Dealer} is efficient and effective.

研究の動機と目的

• 訓練済み機械学習モデルにおけるデータ所有者の貢献に基づき、公平に報酬を支払うデータマーケットプレイスの設計。
• データ所有者が自身のデータに対する使用制限を指定でき、制御性とプライバシーを確保できる仕組みの提供。
• 購入者の利便性と予算に合わせて品質と価格が異なる複数のモデルから選択可能な仕組みの実現。
• 仲介業者の収益を最大化するとともに、アービタージュフリーな価格設定とすべての関係者に対する公平性を維持すること。
• 微分プライバシーを満たす具体的な実装（DP-Dealer）を形式的にモデル化・実装し、プライバシーおよび経済的保証を満たすこと。

提案手法

• 各データ所有者の貢献度を、訓練済みモデルごとに限界寄与度としてShapley値で定量的に評価し、公平な報酬支払いを保証する。
• プライバシーパラメータと購入者の利便性に基づき、複数のモデルインスタンスに対して異なる価格を設定するモデルベース価格設定メカニズムを導入する。
• 動的計画法を用いて、最適価格を探索するための完全な解空間を計算し、ブルートフォース計算を回避する。
• すべての価格組み合わせを考慮した、モデルと購入者間の完全な価格設定解空間を構築する。
• 微分プライバシーとアービタージュフリー価格保証を満たす具体的な実装として、DP-Dealerを設計する。
• データ所有者の使用制限を市場設計における制約としてモデル化し、モデル訓練、価格設定、報酬配分に影響を与える。

実験結果

リサーチクエスチョン

• RQ1 データマーケットプレイスにおいて、機械学習モデルの訓練に貢献したデータ所有者に対して、どのようにして公平に報酬を支払うことができるか？
• RQ2 仲介業者が、アービタージュ機会が存在しない状態で、収益を最大化する最適価格をどのように設定できるか？
• RQ3 データ所有者の使用制限が、データマーケットプレイスにおけるモデル製造、価格設定、報酬配分にどのように影響を与えるか？
• RQ4 モデル購入者が、品質と価格が異なる複数のモデルから選択可能であり、自身の利便性と予算に適合するように、どのようにして選択肢を提供できるか？
• RQ5 プライバシー、公平性、収益最大化の3つを同時に満たすように、どのようにしてデータマーケットプレイスを形式的に設計できるか？

主な発見

• DP-Dealerは、独立分布およびガウス分布に従うアンケート価格データセットの両方で、Dealer や Linear といったベースライン手法と比較して、少なくとも10%高い収益を達成する。
• Dealer+は、類似した利便性を持つモデルペアに対して同一価格を戦略的に設定することで、便宜比と収益の両面でDealer や Linear を上回る性能を示す。
• DealerおよびDealer+に実装された動的計画法ベースの価格設定アルゴリズムは、アンケート価格ポイント数に比例して線形にスケーリングされ、標準PCでも12,500ポイントの価格ポイントに対しても1分未満の実行時間で実現可能である。
• 網羅的ベースライン（BaseおよびBaseAppr）は、価格組み合わせの指数的増加により計算的に非現実的であることが判明し、本手法の効率性が顕著に示された。
• 実験により、DealerおよびDealer+の性能は、独立分布およびガウス分布を含むさまざまな価格分布タイプに対して、安定した性能を示すことが確認された。
• 提案されたフレームワークは、データ所有者の使用制限を市場設計に効果的に統合できており、従来のソリューションと比較して、より安全で信頼性の高いマーケットプレイスを実現した。