[論文レビュー] Collaborative Machine Learning with Incentive-Aware Model Rewards

Rachael Hwee Ling Sim, Yehong Zhang+2 more|arXiv (Cornell University)|Oct 24, 2020

Data Stream Mining Techniques被引用数 33

ひとこと要約

本論文は、連携型機械学習に対するインセンティブ対応のモデル報 rewards スキームを提案し、各当事者のデータを情報利得とShapley値で評価し、集計データにガウス雑音を注入して報酬を実現する。合成データと実世界データセットで特性と経験的性能を示す。

ABSTRACT

Collaborative machine learning (ML) is an appealing paradigm to build high-quality ML models by training on the aggregated data from many parties. However, these parties are only willing to share their data when given enough incentives, such as a guaranteed fair reward based on their contributions. This motivates the need for measuring a party's contribution and designing an incentive-aware reward scheme accordingly. This paper proposes to value a party's reward based on Shapley value and information gain on model parameters given its data. Subsequently, we give each party a model as a reward. To formally incentivize the collaboration, we define some desirable properties (e.g., fairness and stability) which are inspired by cooperative game theory but adapted for our model reward that is uniquely freely replicable. Then, we propose a novel model reward scheme to satisfy fairness and trade off between the desirable properties via an adjustable parameter. The value of each party's model reward determined by our scheme is attained by injecting Gaussian noise to the aggregated training data with an optimized noise variance. We empirically demonstrate interesting properties of our scheme and evaluate its performance using synthetic and real-world datasets.

研究の動機と目的

• 協力的なデータ共有のために、データ提供者が公正なインセンティブを必要とする状況を動機づける。
• 情報利得を用いてモデルパラメータの情報量を反映させ、各パーティのデータを評価する。
• 報酬スキームが、公正性、安定性、および自由に複製可能な報酬下での集合福祉を達成するよう設計する。
• 集約データに最適化されたガウスノイズを加えることにより、計算された報酬を実現する。
• 合成データと実世界データセットで手法を実証的に評価し、特性と性能を示す。

提案手法

• coalitionデータに基づくモデルパラメータの情報利得によるデータの評価。
• 自由に複製可能なモデル報酬に適応した協力ゲーム理論のインセンティブ設計（Shapley fairness, stability, individual rationality, group welfare）。
• 調整可能なパラメータrhoを介して公正性と他のインセンティブのトレードオフを行う rho-Shapley fairness の導入。
• Shapley値を報酬に mapping し、 r_i = (phi_i/phi*)^rho * v_N により rho-Shapley fairness を達成。
• ターゲット報酬に合わせて連続的なノイズ分散 eta_i を最適化し、他方のデータにガウス雑音を注入して報酬を実現。
• ベイズ回帰モデルを用いた synthetic および real データセットでの情報利得と報酬挙動の研究を通じた実証評価。

実験結果

リサーチクエスチョン

• RQ1 複数のパーティが提供するデータをどのように評価して協調を促進するべきか。
• RQ2 協調的に訓練されたモデルの状況で、公正性・安定性・個別合理性を保証できる報酬スキームは構築可能か。
• RQ3 過度なデータサブセット選択を伴わず、実務的に報酬を決定するにはどうすればよいか。
• RQ4 rho パラメータが公正性、集合福祉、安定性に与える影響はどうなるか。

主な発見

• 著者らは、共通の検証データセットに依存せず、モデルパラメータの情報利得によるデータ評価方法を定義する。
• Shapleyベースの公正性フレームワークを提案し、さらに rho-Shapley fairness へ拡張してインセンティブのバランスを取る；報酬は定数 k とべき乗 exponent rho とともにスケールする。
• 報酬スキームは非負性、実現可能性、弱い効率性、公正性の性質を満たし、単純データ価値の下でのグランド連合の安定性を促進できる。
• 報酬は他パーティのデータにガウス雑音を加えることによって実現され、連続的なノイズ分散パラメータを最適化してターゲット報酬を達成する。
• synthetic Friedmanデータと実世界データセット（糖尿病進行、カリフォルニア州住宅）での実証評価により、情報利得が予測精度と相関し、rho が IG および MNLP 指標に与える影響を示す。
• 本アプローチは、モデル報酬を自由に複製可能なデジタル財として設計することで、金銭的報酬なしでも協調を促す可能性を示している。