[논문 리뷰] A Marketplace for Data: An Algorithmic Solution

Anish Agarwal, Munther A. Dahleh외 1명|arXiv (Cornell University)|2018. 05. 21.

Auction Theory and Applications참고 문헌 41인용 수 18

한 줄 요약

이 논문은 기계학습에서의 학습 데이터를 위한 실시간, 알고리즘 기반의 데이터 마켓플레이스를 제안하며, 데이터의 재현 가능성, 조합적 가치, 검증의 어려움과 같은 과제를 다룹니다. Myerson의 지불 함수와 Multiplicative Weights 알고리즘을 사용하는 진실성 있고, 보상이 없는 경매 메커니즘을 도입하고, 재생 가능한 상품을 포함한 협력 게임에 대한 새로운 정의된 공정성 개념을 제시함으로써, 효율적이고 견고한 데이터 거래를 가능하게 합니다.

ABSTRACT

In this work, we aim to design a data marketplace; a robust real-time matching mechanism to efficiently buy and sell training data for Machine Learning tasks. While the monetization of data and pre-trained models is an essential focus of industry today, there does not exist a market mechanism to price training data and match buyers to sellers while still addressing the associated (computational and other) complexity. The challenge in creating such a market stems from the very nature of data as an asset: (i) it is freely replicable; (ii) its value is inherently combinatorial due to correlation with signal in other data; (iii) prediction tasks and the value of accuracy vary widely; (iv) usefulness of training data is difficult to verify a priori without first applying it to a prediction task. As our main contributions we: (i) propose a mathematical model for a two-sided data market and formally define the key associated challenges; (ii) construct algorithms for such a market to function and analyze how they meet the challenges defined. We highlight two technical contributions: (i) a new notion of 'fairness' required for cooperative games with freely replicable goods; (ii) a truthful, zero regret mechanism to auction a class of combinatorial goods based on utilizing Myerson's payment function and the Multiplicative Weights algorithm. These might be of independent interest.

연구 동기 및 목표

• 기계학습 작업을 위한 학습 데이터의 효율적, 진실성 있고 공정한 거래를 가능하게 하는 실시간, 알고리즘 기반의 데이터 마켓플레이스를 설계하는 것.
• 데이터가 디지털 자산으로서 지닌 고유한 과제를 해결하는 것: 자유로운 복제 가능성, 조합적 가치, 사전 평가의 부재, 사전에 유용성 검증의 어려움.
• 구매자, 판매자, 중앙 마켓플레이스로 구성된 양면 시장 모델을 정형화하여, 실제 기계학습 응용 프로그램에서의 데이터 거래 역학을 반영하는 것.
• 진실된 입찰, 수익 극대화, 특히 데이터 상관관계와 복제가 존재할 경우에도 판매자 간 공정한 수익 분배를 보장하는 메커니즘을 개발하는 것.
• 효율성, 진실성, 복제에 대한 강건성에 대한 이론적 보장을 제공하면서도 실용적인 확장성을 고려한 것.

제안 방법

• 정의된 역할(기계학습 전문가인 구매자, 데이터 제공자인 판매자, 중앙 마켓플레이스)을 가진 이원적 데이터 시장의 수학적 모델을 제안.
• 자유로운 복제가 가능한 상품을 포함한 협력 게임에 특화된 새로운 공정성 개념을 도입하여, 데이터 중복에도 불구하고 공정한 수익 분배를 보장.
• Myerson의 지불 함수와 Multiplicative Weights 알고리즘을 활용한 조합적 데이터 번들에 대한 진실성 있고, 보상이 없는 경매 메커니즘을 설계.
• 유사도 지표(SM)를 사용해 상관관계가 있는 특징을 탐지하고, 중복되거나 상당히 상관관계가 높은 데이터에 대해 페널티 함수를 적용하여 가중치를 낮추어, 고유하고 높은 가치의 기여를 유도.
• 마진 기여도와 특징 유사도를 바탕으로 공정한 수익 배분을 계산하는 수익 분배 알고리즘(AF*, RF*, PF*)을 개발하며, 계산 복잡도는 O(M) 또는 O(M²)이다.
• 특정 유사도 지표 하에서 페널티 함수가 복제에 강건하기 위한 필요 및 충분 조건을 수립하여, 마켓플레이스의 안정성을 확보.

실험 결과

연구 질문

• RQ1 데이터가 디지털 자산으로서 자유로운 복제 가능성, 조합적 가치를 지닌다는 점을 감안할 때, 실시간 데이터 마켓플레이스는 어떻게 효율적이고 공정하게 학습 데이터의 구매자와 판매자를 매칭시킬 수 있는가?
• RQ2 예측 작업에 적용한 후에야 가치가 드러나는 데이터의 경우, 구매자의 진실된 입찰을 보장하는 메커니즘은 무엇인가?
• RQ3 특징 간 상관관계가 있고 데이터가 자유로이 복제 가능한 상황에서, 수익을 어떻게 공정하게 분배할 수 있는가?
• RQ4 동일하거나 매우 유사한 데이터가 복제될 경우에도 수익 분배 메커니즘이 복제에 강건하도록 보장하기 위한 조건은 무엇인가?
• RQ5 확장 가능한 알고리즘을 사용하여 조합적 데이터 번들에 대해 진실성 있고, 보상이 없는 경매 메커니즘을 구성할 수 있는가?

주요 결과

• Myerson의 지불 함수와 Multiplicative Weights 알고리즘을 활용함으로써, 제안된 메커니즘은 진실된 입찰과 보상이 없는 상태를 보장하여 조합적 경매에서 효율적인 온라인 학습을 가능하게 한다.
• 제안된 공정성 개념은 자유로운 복제가 가능한 상품을 포함한 협력 게임에 특화되어 있으며, 데이터 마켓에서 공정한 수익 분배의 기반을 마련한다.
• 알고리즘 프레임워크는 할당에 대해 O(M) 복잡도, 수익 분배에 대해 O(M²) 복잡도를 달성하여 중간 크기의 특징 집합에 대해 실시간 구현이 가능하다.
• 특정 유사도 지표 하에서 페널티 함수가 복제에 강건하기 위한 필요 및 충분 조건을 유도하여, 판매자가 자신의 데이터를 복제하더라도 수익 분배가 안정적으로 유지됨을 보장한다.
• 정리 5.1은 익명화된 판매자 신원으로는 균형성과 공정성 조건을 동시에 만족시킬 수 없음을 보여주며, 핵심 설계의 상충관계를 드러낸다.
• 상관관계가 높은 특징에 대해 가중치를 낮추고 고유하고 예측 가능한 기여를 유도함으로써, 효율적이고 확장 가능하며 공정한 데이터 거래를 가능하게 하는 프레임워크를 제공한다.