[論文レビュー] Model-based Pricing for Machine Learning in a Data Marketplace

Lingjiao Chen, Paraschos Koutris+1 more|arXiv (Cornell University)|May 26, 2018

Privacy-Preserving Technologies in Data参考文献 20被引用数 4

ひとこと要約

本稿では、機械学習モデルインスタンスを直接価格設定するモデルベース価格設定（MBP）フレームワークを提案する。ノイズ注入機構を用いてモデルの正確性を制御し、アービタージュを防止する。このアプローチにより、高収益かつ低ランタイムでリアルタイムの価格設定が可能となり、合成および実データセットを用いた広範な実験で検証された。

ABSTRACT

Data analytics using machine learning (ML) has become ubiquitous in science, business intelligence, journalism and many other domains. While a lot of work focuses on reducing the training cost, inference runtime and storage cost of ML models, little work studies how to reduce the cost of data acquisition, which potentially leads to a loss of sellers' revenue and buyers' affordability and efficiency. In this paper, we propose a model-based pricing (MBP) framework, which instead of pricing the data, directly prices ML model instances. We first formally describe the desired properties of the MBP framework, with a focus on avoiding arbitrage. Next, we show a concrete realization of the MBP framework via a noise injection approach, which provably satisfies the desired formal properties. Based on the proposed framework, we then provide algorithmic solutions on how the seller can assign prices to models under different market scenarios (such as to maximize revenue). Finally, we conduct extensive experiments, which validate that the MBP framework can provide high revenue to the seller, high affordability to the buyer, and also operate on low runtime cost.

研究の動機と目的

• 既存のデータ市場における価格設定の非効率性に対処する。特に、高額なデータ取得コストが買い手の購入可能性と売り手の収益を制限する点を改善する。
• 機械学習モデル市場におけるアービタージュ機会を排除する。高精度のモデルが低精度のモデルより安価になることはないよう保証する。
• 売り手がデータ量ではなくモデルの正確性に基づいて価格を設定できる、実用的で効率的な価格設定メカニズムを提供する。
• 買い手が予算内で高精度で有用なモデルを選択できるようにし、収益性とコストパフォーマンスを両立する。
• 変動する市場状況下でも収益最大化と動的価格設定を可能にするフレームワークを設計する。

提案手法

• MBPフレームワークは、事前に訓練された最適モデルにガウスノイズを注入する分散に基づいて、機械学習モデルインスタンスの価格を設定する。
• ノイズ注入により、ノイズ分散が増加するにつれてモデル誤差が単調に増加するよう保証され、正確性と価格の精密な制御が可能になる。
• ブローカーは価格-誤差曲線を用いてノイズ分散を価格にマッピングし、買い手が予算と正確性のニーズに応じてモデルを選択できるようにする。
• 動的収益最適化アルゴリズムにより、売り手の収益を最大化する最適な価格-誤差曲線を計算し、多項式時間の計算量を達成する。
• フレームワークは、ノイズ分散に対する誤差の単調性を保証することで、アービタージュが発生しないことを形式的に証明している。
• 実験では、MBPをMILP、線形、ヒューリスティック価格設定法と比較し、MBPが顕著に低いランタイムで近似的最適な収益を達成することを示した。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルの価格設定フレームワークは、どのようにしてアービタージュを防ぎつつ、予算が限られた買い手にとってもアクセス可能であるようにすることができるか？
• RQ2 正確性と価格に基づいて、リアルタイムかつ低ランタイムで機械学習モデルインスタンスを価格設定するメカニズムは何か？
• RQ3 複数の正確性と価格を有するモデルインスタンスを提供する場合、売り手はどのようにして収益を最大化できるか？
• RQ4 ノイズ注入アプローチは、モデル誤差と価格の単調性に関する形式的保証をどの程度維持するか？
• RQ5 収益、コストパフォーマンス、ランタイム効率の観点から、MBPフレームワークは既存の価格設定法と比べてどの程度優れているか？

主な発見

• MBPフレームワークは、全テストデータセットおよび買い手の価値評価分布において、MILPベースの最適解の50％以内という近似的最適な収益を達成した。
• ランタイム性能では、MBPがMILPに比べて顕著に高速であり、価格ポイント数の増加に伴い、MBPは2乗的にスケーリングするが、MILPは指数関数的に増加する。
• MBPは高いコストパフォーマンスを維持し、全実験で一貫して0.8以上のアフィリエイティ比を示し、他の手法を上回るか同等の性能を発揮した。
• ノイズ注入機構により、ノイズ分散の増加に伴い誤差が単調に増加することが形式的に保証され、アービタージュの発生が排除された。
• 単純な構造にもかかわらず、MBPは線形および中央値ベースの価格設定法を凌駕し、収益性とコストパフォーマンスの両面で優れた性能を示した。ただし、これらはMBPよりも高速であった。
• 多様な買い手の価値評価曲線の下でも、MBPフレームワークは強固であり、ほとんどの現実的状況で理論的最適値に近く、高い性能を発揮した。