[論文レビュー] Mechanism Design for Multi-Party Machine Learning

Mengjing Chen, Yang Liu+4 more|arXiv (Cornell University)|Jan 24, 2020

Auction Theory and Applications参考文献 30被引用数 15

ひとこと要約

本稿は、参加者が相互に依存する価値を持ち、報告行動が制限された（過剰報告が不可能な）複数参加者による機械学習のためのメカニズム設計フレームワークを提案する。準単調性の下で真実性を保ちつつ収益を最適化するメカニズムを提示し、インcentive compatibility（インcentive適合性）および個人的合理性の必要十分条件を提示。メカニズムの存在は市場成長率に強く依存する。

ABSTRACT

In a multi-party machine learning system, different parties cooperate on optimizing towards better models by sharing data in a privacy-preserving way. A major challenge in learning is the incentive issue. For example, if there is competition among the parties, one may strategically hide his data to prevent other parties from getting better models. In this paper, we study the problem through the lens of mechanism design and incorporate the features of multi-party learning in our setting. First, each agent's valuation has externalities that depend on others' types and actions. Second, each agent can only misreport a type lower than his true type, but not the other way round. We call this setting interdependent value with type-dependent action spaces. We provide the optimal truthful mechanism in the quasi-monotone utility setting. We also provide necessary and sufficient conditions for truthful mechanisms in the most general case. Finally, we show the existence of such mechanisms is highly affected by the market growth rate and provide empirical analysis.

研究の動機と目的

• 競合する参加者がデータを戦略的に隠匿する可能性がある複数参加者機械学習におけるインcentive問題を解決すること。
• 相互に依存する価値とタイプ依存の行動空間を持つ、新たな設定をモデル化。参加者は自らのデータ品質を過剰報告できない。
• 一般の評価関数を想定し、個人的合理性、インcentive適合性、弱い予算バランスを満たすメカニズムを提供すること。
• 市場成長率が望ましいメカニズムの存在に与える影響を分析すること。
• 報酬の最適化を実現するためのアルゴリズムを設計。このアルゴリズムは、報酬のギャップに基づく最短経路制約から導かれる。

提案手法

• 相互に依存する価値と制限された行動空間（参加者は過剰報告ができない）を持つメカニズム設計の設定として問題を定式化。
• 参加者 $i$ の報酬の差を捉えるために、$Gap_i(t_i', t_i, t_{-i})$ を定義。これは、$t_i'$ を誤って報告する場合と真実を報告する場合の報酬の差を表す。
• ノードがタイププロファイルを表し、エッジが報酬制約をエンコードするグラフにおける最短経路計算に基づく支払いシステムを構築。
• 単一始点最短経路アルゴリズムを用いて、個人的合理性およびインcentive適合性を満たす最大の実現可能な支払い $p_i^{max}(t_i, t_{-i})$ を計算。
• 弱い予算バランス、効率性、真実性を同時に満たすメカニズムが存在するかを検証するための意思決定アルゴリズムを導入。これは、支払いの合計がゼロ未満であるかを確認することで実現。
• 連続的なデータサイズを扱うためにタイプ空間をサイズ $\epsilon$ の区間に離散化。すべての評価関数が共通知識であると仮定。

実験結果

リサーチクエスチョン

• RQ1 相互に依存する価値と制限された報告行動を伴う複数参加者機械学習において、真実性、個人的合理性、弱い予算バランスを満たすメカニズムが存在する条件は何か？
• RQ2 市場成長率は、すべての望ましい性質を満たすメカニズムの存在にどのように影響するか？
• RQ3 準単調な報酬関数設定において、インcentive適合性を保証しながら収益を最大化する最適な支払いルールは何か？
• RQ4 参加者がデータ品質を過剰報告できない状況で、効率性と真実性を保証するメカニズムを構築できるか？
• RQ5 複雑な相互に依存する評価関数を持つ状況において、最大実現可能な支払いを計算するためのアルゴリズム的手法は何か？

主な発見

• 提案されたメカニズムは、準単調な報酬関数設定において収益を最適化し、真実性を保証する。支払いは最短経路制約に基づいて計算される。
• 真実性および個人的合理性を満たすメカニズムのための必要十分条件が導出され、報酬ギャップ制約と支払いの実現可能性に依存する。
• 望ましいメカニズムの存在は市場成長率に極めて敏感である。成長率が遅いと、このようなメカニズムの存在が不可能になる可能性がある。
• アルゴリズム的手法により、メカニズム設計問題が差分制約のシステムに還元され、最短経路計算によって解ける。
• 各参加者の最大支払いは、基準ノードから対応するタイププロファイルまでの最短経路によって決定され、すべてのインcentive制約が満たされる。
• すべての参加者における最大支払いの合計が負であれば、個人的合理性、インcentive適合性、弱い予算バランスを同時に満たすメカニズムは存在しない。