[논문 리뷰] Dealer: End-to-End Data Marketplace with Model-based Pricing

Jinfei Liu|arXiv (Cornell University)|2020. 03. 29.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 5

한 줄 요약

이 논문은 모델 기반 가격 설정을 사용하는 엔드 투 엔드 데이터 마켓플레이스인 Dealer를 제안한다. 이는 데이터 소유자의 기여도를 공정하게 측정하기 위해 셰플리 값(Shapley values)을 활용하고, 동적 프로그래밍 기반의 가격 설정 메커니즘을 통해 수익을 극대화하면서도 아르비트 없는 가격 설정을 보장한다. 이 방법은 데이터 소유자가 사용 제한을 설정할 수 있도록 하며, 모델 구매자가 예산과 유틸리티 요구에 맞는 다양한 모델 중 선택할 수 있도록 한다. DP-Dealer는 개인정보 보호 및 경제적 보장을 공식적으로 제공한다.

ABSTRACT

Data-driven machine learning (ML) has witnessed great successes across a variety of application domains. Since ML model training are crucially relied on a large amount of data, there is a growing demand for high quality data to be collected for ML model training. However, from data owners' perspective, it is risky for them to contribute their data. To incentivize data contribution, it would be ideal that their data would be used under their preset restrictions and they get paid for their data contribution. In this paper, we take a formal data market perspective and propose the first en extbf{\underline{D}}-to- extbf{\underline{e}}nd d extbf{\underline{a}}ta marketp extbf{\underline{l}}ace with mod extbf{\underline{e}}l-based p extbf{\underline{r}}icing (\emph{Dealer}) towards answering the question: \emph{How can the broker assign value to data owners based on their contribution to the models to incentivize more data contribution, and determine pricing for a series of models for various model buyers to maximize the revenue with arbitrage-free guarantee}. For the former, we introduce a Shapley value-based mechanism to quantify each data owner's value towards all the models trained out of the contributed data. For the latter, we design a pricing mechanism based on models' privacy parameters to maximize the revenue. More importantly, we study how the data owners' data usage restrictions affect market design, which is a striking difference of our approach with the existing methods. Furthermore, we show a concrete realization DP-\emph{Dealer} which provably satisfies the desired formal properties. Extensive experiments show that DP-\emph{Dealer} is efficient and effective.

연구 동기 및 목표

• 기계 학습 모델 훈련에 기여한 데이터 소유자에게 그 기여도에 비례해 공정하게 보상을 지급할 수 있는 데이터 마켓플레이스를 설계하는 것.
• 데이터 소유자가 자신의 데이터에 대해 사용 제한을 설정할 수 있도록 하여 통제력과 개인정보 보호를 보장하는 것.
• 다양한 품질과 가격을 갖는 모델들을 제공하여, 구매자가 자신의 유틸리티와 예산에 맞게 선택할 수 있도록 하는 것.
• 모든 당사자 간의 공정성과 아르비트 없는 가격 설정을 유지하면서도 브로커의 수익을 극대화하는 것.
• 개인정보 보호 및 경제적 보장 조건을 충족하는 차등적 비밀유지 버전(DP-Dealer)을 공식적으로 모델링하고 구현하는 것.

제안 방법

• 모든 훈련된 모델에 대해 각 데이터 소유자의 마진 기여도를 셰플리 값(Shapley values)을 사용해 정량화하여 공정한 보상을 보장한다.
• 사용자 유틸리티와 개인정보 보호 파라미터에 따라 여러 모델 인스턴스에 대해 서로 다른 가격을 설정하는 모델 기반 가격 설정 메커니즘을 도입한다.
• 모든 가능한 솔루션 공간을 효율적으로 탐색하기 위해 브루트 포스 계산을 피하기 위해 동적 프로그래밍을 활용한다.
• 모든 가능한 가격 조합을 고려하여 모델 가격 설정을 위한 완전한 솔루션 공간을 구성한다.
• 차등적 비밀유지 보장을 충족하고 아르비트 없는 가격 설정을 보장하는 DP-Dealer를 구체적인 구현 사례로 설계한다.
• 시장 설계에서 데이터 소유자의 사용 제한을 제약 조건으로 모델링하여, 모델 훈련, 가격 설정, 보상 배분에 영향을 미친다.

실험 결과

연구 질문

• RQ1 데이터 마켓플레이스에서 기계 학습 모델 훈련에 기여한 데이터 소유자에게 어떻게 공정하게 보상을 지급할 수 있는가?
• RQ2 브로커는 어떻게 수익을 극대화하면서도 아르비트 기회가 없는 최적의 가격을 여러 모델에 대해 설정할 수 있는가?
• RQ3 데이터 소유자의 사용 제한은 데이터 마켓플레이스에서 모델 제조, 가격 설정, 보상 배분에 어떤 영향을 미치는가?
• RQ4 모델 구매자는 자신의 유틸리티와 예산에 맞게 다양한 품질과 가격을 갖는 모델들 중에서 선택할 수 있도록 어떻게 설계할 수 있는가?
• RQ5 개인정보 보호, 공정성, 수익 극대화를 동시에 충족하는 데이터 마켓플레이스를 어떻게 공식적으로 설계할 수 있는가?

주요 결과

• DP-Dealer는 독립적이고 가우시안 분포를 따르는 설문 가격 데이터셋 모두에서 기준 방법인 Dealer와 Linear보다 최소 10% 이상 높은 수익을 달성한다.
• Dealer+는 유사한 유틸리티를 갖는 모델 쌍에 대해 동일한 가격을 전략적으로 설정함으로써 가격 접근성 비율과 수익 측면에서 Dealer와 Linear를 모두 능가한다.
• Dealer와 Dealer+에 구현된 동적 프로그래밍 기반 가격 설정 알고리즘은 설문 가격 포인트 수에 대해 선형으로 확장되며, 표준 PC에서 12,500개의 가격 포인트 조차도 분당 이내의 런타임을 달성한다.
• 기본 기반 방법(Base 및 BaseAppr)은 가격 조합의 지수적 증가로 인해 계산적으로 비현실적이므로, 제안된 방법의 효율성을 입증한다.
• 실험 결과에 따르면, Dealer와 Dealer+의 성능은 독립적 분포와 가우시안 분포를 포함한 다양한 가격 분포 유형에 대해 뛰어난 안정성을 보였다.
• 제안된 프레임워크는 데이터 소유자의 사용 제한을 마켓플레이스 설계에 성공적으로 통합하여, 이전 솔루션 대비 더 안전하고 신뢰할 수 있는 마켓플레이스를 구현했다.