[論文レビュー] Collaborative Machine Learning Markets with Data-Replication-Robust Payments

Olga Ohrimenko, Shruti Tople+1 more|arXiv (Cornell University)|Nov 8, 2019

Privacy-Preserving Technologies in Data参考文献 13被引用数 13

ひとこと要約

本論文は、参加者が訓練データを提供し、検証タスクを指定することでカスタムモデルを受領する、協働的な機械学習マーケットプレイスを提案する。本手法は、データ複製に対して耐性のある新しいシャープレイ値ベースの報酬分配メカニズムを用い、公平な収益分配を実現するとともに、データ複製のインcentiveを排除する。参加費は検証タスクに紐づけられ、タスク固有のモデルカスタマイズが施されることで、参加者はデータの複製を誘発するインcentiveを持たない。

ABSTRACT

We study the problem of collaborative machine learning markets where multiple parties can achieve improved performance on their machine learning tasks by combining their training data. We discuss desired properties for these machine learning markets in terms of fair revenue distribution and potential threats, including data replication. We then instantiate a collaborative market for cases where parties share a common machine learning task and where parties' tasks are different. Our marketplace incentivizes parties to submit high quality training and true validation data. To this end, we introduce a novel payment division function that is robust-to-replication and customized output models that perform well only on requested machine learning tasks. In experiments, we validate the assumptions underlying our theoretical analysis and show that these are approximately satisfied for commonly used machine learning models.

研究の動機と目的

• 複数の参加者が分散して保有するデータを対象とする協働的機械学習市場において、高品質なデータ共有を促進する課題に取り組む。
• 同一データセットを複数回送信することで利益を得るような戦略的行動（例：データ複製）を防ぐため、参加者が重複データを送信しても経済的利得を得られないようにすること。
• シャープレイ値を用いた公平なデータ価値評価に基づき、収益分配を実現するとともに、データの機微性と完全性を保持する。
• 参加者は元のデータそのものではなく、タスク固有のモデルのみを受け取る仕組みを設計し、データ漏洩や再利用を防止する。
• 報酬メカニズムが複製に対して耐性を持ち、誠実な貢献者に対して不公正なペナルティを課さないことを保証する

提案手法

• 参加者の特定の検証タスクにおけるモデル性能に基づく、新規の特徴関数を用いたシャープレイ値を計算し、公平なデータ貢献度を算出する。
• 検証タスクの複雑さや価値に比例して上昇する参加費を導入し、複製にコストを課すことで、無償での複製を抑制する。
• 指定された検証タスクにのみ有効なカスタムモデルを訓練し、他のタスクへの再利用を不可能にする。
• 信頼性の高いハードウェア（例：Intel SGX）を活用し、データの機微性と完全性を保証する。リモートアテステーションにより信頼性を確保する。
• クラウドベースのマーケットプレイスを実装し、データは暗号化され、隔離されたエナclave内で処理される。プレーンテキストでのデータ露出は一切ない。
• データ評価、タスク固有のモデルトレーニング、参加費の導入を統合し、自己一貫性のあるインcentive構造を構築する

実験結果

リサーチクエスチョン

• RQ1 協働的機械学習マーケットプレイスにおいて、参加者のデータ貢献の真の価値に基づき、公平に報酬を分配する方法は何か？
• RQ2 同一データセットを複数回送信することで不正な利得を得るのを防ぐためのメカニズムは何か？
• RQ3 データの機微性を保持しつつ、正確なモデルトレーニングと公平な報酬分配を実現するにはどうすればよいか？
• RQ4 複数参加者間の協働的ML環境において、データ複製に対して耐性を持つようにシャープレイ値をどのように適合できるか？
• RQ5 タスク固有のモデルカスタマイズが、データ漏洩や不正利用を防ぐ役割を果たすメカニズムとして果たす役割は何か？

主な発見

• 提案された報酬メカニズムにより、複製を行う参加者のシャープレイ値の合計は、1人の誠実な参加者の値を超えない。複製数が増加しても同様である。
• 新規の特徴関数を用いることで、誠実な参加者のシャープレイ値は安定し、複製グループの値と等しくなる。これにより、複製が利益にならないことが証明された。
• 実験により、ロジスティック回帰などの一般的に用いられるモデルにおいて、シャープレイ値計算の理論的仮定が概ね満たされていることが確認された。
• マーケットプレイスで訓練されたカスタムモデルは、要求された検証タスクでのみ優れた性能を示し、他のタスクへの不正利用や移行を防げる。
• 検証タスクに紐づけられた参加費の統合により、複製のコストと見返りのバランスが取られ、データ複製のインcentiveが完全に排除された。
• セキュアエナclave（例：Intel SGX）により、データが隔離された環境で処理され、プレーンテキストで露出しないことから、マーケットプレイスへの信頼性が確保された。