[論文レビュー] Data Pricing in Machine Learning Pipelines

Zicun Cong, Xuan Luo+3 more|arXiv (Cornell University)|Aug 18, 2021

Auction Theory and Applications被引用数 4

ひとこと要約

この論文は、機械学習パイプラインにおけるデータ価格設定の原則を調査し、主に3つの主要段階に焦点を当てる：学習データ収集、共同モデルトレーニング、モデルデプロイメント。ゲーム理論的手法（特にシャープリー値）を用いて、生データ、ラベル付きデータ、モデル寄与に対する原理的価格設定メカニズムを提案する一方で、エンドツーエンドの収益配分、データ複製に対する耐性、競争市場におけるクエリベース価格設定、厳密な評価フレームワークといった課題を特定する。

ABSTRACT

Machine learning is disruptive. At the same time, machine learning can only succeed by collaboration among many parties in multiple steps naturally as pipelines in an eco-system, such as collecting data for possible machine learning applications, collaboratively training models by multiple parties and delivering machine learning services to end users. Data is critical and penetrating in the whole machine learning pipelines. As machine learning pipelines involve many parties and, in order to be successful, have to form a constructive and dynamic eco-system, marketplaces and data pricing are fundamental in connecting and facilitating those many parties. In this article, we survey the principles and the latest research development of data pricing in machine learning pipelines. We start with a brief review of data marketplaces and pricing desiderata. Then, we focus on pricing in three important steps in machine learning pipelines. To understand pricing in the step of training data collection, we review pricing raw data sets and data labels. We also investigate pricing in the step of collaborative training of machine learning models, and overview pricing machine learning models for end users in the step of machine learning deployment. We also discuss a series of possible future directions.

研究の動機と目的

• 複数の協力参加者が関与する機械学習パイプラインにおける、原理的データ価格設定メカニズムを確立すること。
• 価値が購入者によって変動する非競合的・組み合わせ的・多様性を持つ資産としてのデータの価格設定における、特異的な課題に対処すること。
• 生データセット、データラベリング、共同モデル寄与、デプロイされた機械学習モデルのための価格設定手法をサーベイおよび分析すること。
• エンドツーエンドの収益配分、評価の公理的基盤、細粒度のデータ調達、価格設定モデルの評価における、重要な研究ギャップを特定すること。
• 機械学習エコシステムにおける動的で公平かつ耐性のあるデータおよびモデル取引を支援する体系的フレームワークを提唱すること。

提案手法

• データマーケットプレイスと価格設定の望ましい性質に関する既存研究をサーベイし、特に3つのパイプライン段階（データ収集、共同トレーニング、デプロイメント）に焦点を当てる。
• 共同ゲーム理論、特にシャープリー値を用いて、共同モデルトレーニングにおける貢献の定量的評価と価格設定を実施する。
• 対称性、加法性、ゼロ要素といった公理に基づいて価格モデルを評価し、正規化されたバンザフ値などの代替手法と比較する。
• 複数の売り手が存在する環境における選択的データ調達を促進し、データ多様性と予算効率を向上させるために、クエリベース価格モデルを提案する。
• 実際の市場行動（敵対的行動やコалиション戦略を含む）を想定した環境で価格モデルを評価できるシミュレーションプラットフォームの開発を推奨する。
• 真実性、収益最大化、アービタージュフリー性といった原則を価格モデル設計に統合する。

Figure 1: Steps and pricing tasks in machine learning pipelines

実験結果

リサーチクエスチョン

• RQ1 異なる購入者に対して機械学習モデルのパフォーマンスに与える貢献を公平に反映する方法で、データをどのように価格設定できるか？
• RQ2 共同モデルトレーニングにおける貢献者間での公平かつ耐性のある収益配分を保証するためのゲーム理論的メカニズムは何か？
• RQ3 重複するデータセットを有する競争市場環境において、細粒度のクエリベース調達を支援する価格モデルはどのように設計できるか？
• RQ4 現在の価格モデルには、合意形成や戦略的入札といった現実の市場行動が理想化された仮定を破壊する場合の限界があるが、その限界は何か？
• RQ5 データ収集からモデルデプロイメントに至るまでの機械学習パイプライン全体にわたり、エンドツーエンドの収益配分を体系的に設計する方法は何か？

主な発見

• シャープリー値は共同トレーニングにおける貢献ベース価格設定に広く用いられているが、加法性公理に依存するため、すべての市場状況で最適とは限らない。
• 正規化されたバンザフ値は、シャープリー値よりもデータ複製攻撃に対してより高い耐性を示すため、評価手法の適切な選択は文脈依存であることが示唆される。
• 現在の研究では、多くの価格モデルが合理的で非コалиション的行動を仮定しているが、現実の市場ダイナミクスとしての敵対的行動やコアリション行動は、まだ十分に評価されていない。
• 機械学習パイプラインの全段階における貢献を考慮するエンドツーエンドの収益配分の体系的フレームワークが不足している。
• クエリベース価格モデルは存在するが、現在は独占的状況に限定されており、複数売り手が存在する競争市場におけるデータマーケットプレイスへの拡張が求められている。
• 価格モデルの厳密な評価はまだ発展途上であり、多くの研究が単純化された仮定に依存している。実際のパフォーマンス評価のためには、シミュレーションプラットフォームの開発が不可欠である。

(a) General data marketplace.