[논문 리뷰] Model-based Pricing for Machine Learning in a Data Marketplace

Lingjiao Chen, Paraschos Koutris외 1명|arXiv (Cornell University)|2018. 05. 26.

Privacy-Preserving Technologies in Data참고 문헌 20인용 수 4

한 줄 요약

이 논문은 원시 데이터 대신 기계학습 모델 인스턴스를 직접 가격 설정하는 모델 기반 가격 설정(MBP) 프레임워크를 제안한다. 노이즈 주입 메커니즘을 통해 모델 정확도를 제어하고 암호화를 방지한다. 이 방법은 높은 수익과 접근 가능성, 실시간 저런타임 가격 설정을 가능하게 하며, 합성 및 실제 데이터셋을 대상으로 한 광범위한 실험을 통해 검증되었다.

ABSTRACT

Data analytics using machine learning (ML) has become ubiquitous in science, business intelligence, journalism and many other domains. While a lot of work focuses on reducing the training cost, inference runtime and storage cost of ML models, little work studies how to reduce the cost of data acquisition, which potentially leads to a loss of sellers' revenue and buyers' affordability and efficiency. In this paper, we propose a model-based pricing (MBP) framework, which instead of pricing the data, directly prices ML model instances. We first formally describe the desired properties of the MBP framework, with a focus on avoiding arbitrage. Next, we show a concrete realization of the MBP framework via a noise injection approach, which provably satisfies the desired formal properties. Based on the proposed framework, we then provide algorithmic solutions on how the seller can assign prices to models under different market scenarios (such as to maximize revenue). Finally, we conduct extensive experiments, which validate that the MBP framework can provide high revenue to the seller, high affordability to the buyer, and also operate on low runtime cost.

연구 동기 및 목표

• 기존 데이터 마켓 가격 설정의 비효율성을 해결하기 위해 고가의 데이터 확보 비용이 구매자의 가용성과 판매자의 수익을 제한하는 문제를 해결한다.
• 더 높은 정확도의 모델이 더 낮은 정확도의 모델보다 저렴하지 않도록 함으로써 기계학습 모델 마켓에서의 암호화 기회를 제거한다.
• 판매자가 데이터 양이 아닌 모델 정확도에 기반해 가격을 설정할 수 있도록 실용적이고 효율적인 가격 설정 메커니즘을 제공한다.
• 구매자가 예산 내에서 높은 모델 유용성과 가용성을 유지하면서도 모델을 선택할 수 있도록 한다.
• 다양한 시장 조건에서 수익 극대화와 동적 가격 설정을 지원하는 프레임워크를 설계한다.

제안 방법

• MBP 프레임워크는 사전 훈련된 최적의 모델에 노이즈를 주입하여 발생하는 가우시안 노이즈의 분산에 기반해 기계학습 모델 인스턴스를 가격 설정한다.
• 노이즈 주입은 노이즈 분산 증가에 따라 오차가 단조적으로 증가하도록 보장하여 정확도와 가격에 대한 정밀한 제어를 가능하게 한다.
• 브로커는 노이즈 분산을 가격으로 매핑하는 오차-가격 곡선을 사용하여, 구매자가 예산과 정확도 요구 사항에 따라 모델을 선택할 수 있도록 한다.
• 동적 수익 최적화 알고리즘은 판매자 수익을 극대화하기 위해 최적의 오차-가격 곡선을 계산하며, 다항식 시간 복잡도를 가진다.
• 프레임워크는 노이즈 분산에 대한 오차의 단조성 보장으로 인해 암호화를 방지하는 것으로 공식적으로 증명된다.
• 실험에서는 MBP를 MILP, 선형 및 히وري스틱 가격 설정 방법과 비교하여, MBP가 훨씬 낮은 런타임으로 근사 최적의 수익을 달성함을 보였다.

실험 결과

연구 질문

• RQ1 기계학습 모델 마켓의 가격 설정 프레임워크는 어떻게 암호화를 방지하면서도 예산 제약이 있는 구매자들에게 접근 가능한 가격을 제공할 수 있는가?
• RQ2 정확도와 가격에 기반해 실시간으로 저런타임 가격 설정이 가능한 모델 인스턴스의 가격 설정 메커니즘은 무엇인가?
• RQ3 다양한 정확도와 가격을 가진 여러 모델 인스턴스를 제공할 때 판매자는 어떻게 수익을 극대화할 수 있는가?
• RQ4 노이즈 주입 방식은 모델 오차와 가격의 단조성에 대해 어떤 정도의 공식적 보장을 유지하는가?
• RQ5 수익, 접근 가능성, 런타임 효율성 측면에서 MBP 프레임워크는 기존의 가격 설정 방법과 어떻게 비교되는가?

주요 결과

• MBP 프레임워크는 모든 테스트 데이터셋과 구매자 분포에서 MILP 기반 최적 솔루션의 약 50% 이내의 근사 최적 수익을 달성한다.
• 런타임 성능 분석 결과, MBP는 MILP보다 훨씬 빠르며, 가격 포인트 수가 증가함에 따라 런타임이 제곱법적으로 증가하는 반면, MILP는 지수적으로 증가한다.
• MBP는 높은 접근 가능성을 유지하며, 모든 실험에서 접근 가능성 비율이 항상 0.8 이상이었으며, 다른 방법보다 뛰어나거나 동등한 성능을 보였다.
• 노이즈 주입 메커니즘은 노이즈 분산 증가에 따라 오차가 단조적으로 증가함을 공식적으로 보장하여 암호화 기회를 완전히 제거한다.
• 간단한 구조임에도 불구하고, MBP는 더 빠른 선형 및 중앙값 기반 가격 설정보다 수익과 접근 가능성 측면에서 뛰어나며, 이는 비록 더 빠른 속도를 기록하더라도 마찬가지다.
• 다양한 구매자 평가 곡선에 대해 프레임워크는 강건하게 유지되며, 대부분의 현실적인 시나리오에서 이론적 최적에 매우 가까운 성능을 보였다.