[논문 리뷰] Data Pricing in Machine Learning Pipelines

Zicun Cong, Xuan Luo외 3명|arXiv (Cornell University)|2021. 08. 18.

Auction Theory and Applications인용 수 4

한 줄 요약

이 논문은 기계학습 파이프라인에서의 데이터 가격 책정 원칙을 조사하며, 학습 데이터 수집, 공동 모델 훈련, 모델 배포의 세 가지 핵심 단계에 중점을 둔다. 게임 이론적 접근 방식인 샤플리 값 등을 활용해 원시 데이터, 레이블링된 데이터, 모델 기여도에 대한 원칙적인 가격 책정 메커니즘을 제안하며, 종단 간 수익 배분, 데이터 복제에 대한 내구성, 경쟁 시장에서의 질의 기반 가격 책정, 철저한 평가 프레임워크 등의 과제를 밝혀낸다.

ABSTRACT

Machine learning is disruptive. At the same time, machine learning can only succeed by collaboration among many parties in multiple steps naturally as pipelines in an eco-system, such as collecting data for possible machine learning applications, collaboratively training models by multiple parties and delivering machine learning services to end users. Data is critical and penetrating in the whole machine learning pipelines. As machine learning pipelines involve many parties and, in order to be successful, have to form a constructive and dynamic eco-system, marketplaces and data pricing are fundamental in connecting and facilitating those many parties. In this article, we survey the principles and the latest research development of data pricing in machine learning pipelines. We start with a brief review of data marketplaces and pricing desiderata. Then, we focus on pricing in three important steps in machine learning pipelines. To understand pricing in the step of training data collection, we review pricing raw data sets and data labels. We also investigate pricing in the step of collaborative training of machine learning models, and overview pricing machine learning models for end users in the step of machine learning deployment. We also discuss a series of possible future directions.

연구 동기 및 목표

• 다양한 협력 당사자가 참여하는 기계학습 파이프라인에 대해 원칙적인 데이터 가격 책정 메커니즘을 수립하기 위해.
• 구매자 간 가치가 다양하게 변하는 비경쟁적, 조합적, 이질적인 자산으로서의 데이터 가격 책정의 고유한 과제를 다루기 위해.
• 원시 데이터 세트, 데이터 레이블링, 공동 모델 기여도, 배포된 기계학습 모델에 대한 가격 책정 방법을 조사하고 분석하기 위해.
• 종단 간 수익 배분, 평가의 축약적 기초, 세밀한 데이터 확보, 가격 책정 모델 평가 등의 핵심 연구 격차를 식별하기 위해.
• 기계학습 생태계에서 동적이고 공정하며 내구성 있는 데이터 및 모델 교환을 지원하는 체계적인 프레임워크를 촉진하기 위해.

제안 방법

• 세 가지 파이프라인 단계인 데이터 수집, 공동 훈련, 배포에 중점을 두고, 데이터 마켓플레이스 및 가격 책정의 바람직한 조건에 관한 기존 연구를 조사한다.
• 협력 게임 이론, 특히 샤플리 값을 적용하여 공동 모델 훈련에서의 기여도를 정량화하고 가격 책정한다.
• 대칭성, 가환성, 영소수 조건 등의 축약적 조건을 기반으로 가격 책정 모델을 평가하고, 정규화된 반즈하 값과 같은 대안을 비교한다.
• 다중 판매자 환경에서의 선택적 데이터 확보를 향상시키고 예산 효율성을 높이기 위해 질의 기반 가격 책정 모델을 제안한다.
• 적대적 행동이나 연합 전략을 포함한 현실적인 시장 행동을 고려한 가격 책정 모델 평가를 위해 시뮬레이션 플랫폼 개발을 권장한다.
• 진실성, 수익 극대화, 무역기회의 제거를 가격 책정 모델 설계에 통합한다.

Figure 1: Steps and pricing tasks in machine learning pipelines

실험 결과

연구 질문

• RQ1 다양한 구매자 간 기계학습 모델 성능에 기여하는 데이터의 기여도를 공정하게 반영할 수 있는 가격 책정 방법은 무엇인가?
• RQ2 협동 모델 훈련에서 기여자 간 공정하고 내구성 있는 수익 배분을 보장할 수 있는 게임 이론적 메커니즘은 무엇인가?
• RQ3 겹치는 데이터 세트가 존재하는 경쟁 시장에서, 세밀한 질의 기반 데이터 확보를 지원할 수 있는 가격 책정 모델은 어떻게 설계될 수 있는가?
• RQ4 현실 세계의 행동, 예를 들어 공모나 전략적 입찰이 이상화된 가정을 무너뜨릴 때, 기존 가격 책정 모델의 한계는 무엇인가?
• RQ5 데이터 수집에서 모델 배포에 이르기까지 전체 기계학습 파이프라인에 걸쳐 종단 간 수익 배분을 체계적으로 설계할 수 있는 방법은 무엇인가?

주요 결과

• 샤플리 값은 공동 훈련에서 기여 기반 가격 책정에 널리 사용되지만, 가환성 축약 조건에 의존하기 때문에 모든 시장 환경에서 최적은 아닐 수 있다.
• 정규화된 반즈하 값은 샤플리 값보다 데이터 복제 공격에 더 뛰어난 내구성을 보이며, 이는 평가 방법의 선택이 맥락에 따라 달라져야 함을 시사한다.
• 기존의 가격 책정 모델은 일반적으로 이성적이고 비연합적 행동을 전제로 하지만, 현실 세계의 시장 역학, 예를 들어 적대적 또는 연합 행동은 현재 연구에서 충분히 평가되지 못하고 있다.
• 모든 기계학습 파이프라인 단계에서의 기여를 고려하는 종단 간 수익 배분을 위한 체계적인 프레임워크가 부족하다.
• 질의 기반 가격 책정 모델은 존재하지만 현재는 독점적 환경에 국한되어 있으며, 다수의 판매자가 존재하는 경쟁적 데이터 마켓플레이스로의 확장 필요성이 있다.
• 가격 책정 모델의 철저한 평가가 아직 부족하며, 대부분의 연구가 단순화된 가정에 의존하고 있다. 현실적인 성능 평가를 위해 시뮬레이션 플랫폼이 필요로 한다.

(a) General data marketplace.