[論文レビュー] Absolute Shapley Value

Jinfei Liu|arXiv (Cornell University)|Mar 23, 2020

Bayesian Modeling and Causal Inference参考文献 8被引用数 4

ひとこと要約

この論文は、マージナル寄与の絶対値を取ることで、学習におけるデータ重要度を評価する新規手法である絶対シャープレイ値（Absolute Shapley Value）を導入する。負の寄与値であっても、その絶対値を用いることで、真に重要または重要でないデータタプルを識別する能力が向上する。アイrisデータセットを用いた実験では、シャープレイ値に基づく上位k個のデータで学習した場合のモデル精度が優れていることから、オリジナルおよびゼロシャープレイ値を上回ることを示している。

ABSTRACT

Shapley value is a concept in cooperative game theory for measuring the contribution of each participant, which was named in honor of Lloyd Shapley. Shapley value has been recently applied in data marketplaces for compensation allocation based on their contribution to the models. Shapley value is the only value division scheme used for compensation allocation that meets three desirable criteria: group rationality, fairness, and additivity. In cooperative game theory, the marginal contribution of each contributor to each coalition is a nonnegative value. However, in machine learning model training, the marginal contribution of each contributor (data tuple) to each coalition (a set of data tuples) can be a negative value, i.e., the accuracy of the model trained by a dataset with an additional data tuple can be lower than the accuracy of the model trained by the dataset only. In this paper, we investigate the problem of how to handle the negative marginal contribution when computing Shapley value. We explore three philosophies: 1) taking the original value (Original Shapley Value); 2) taking the larger of the original value and zero (Zero Shapley Value); and 3) taking the absolute value of the original value (Absolute Shapley Value). Experiments on Iris dataset demonstrate that the definition of Absolute Shapley Value significantly outperforms the other two definitions in terms of evaluating data importance (the contribution of each data tuple to the trained model).

研究の動機と目的

• 機械学習モデルにおけるデータ評価の課題としての負のマージナル寄与の問題に対処すること。
• マージナル寄与の絶対値を取ることで、データ重要度の評価が向上するかを評価すること。
• シャープレイ値定義の3つのアプローチ（オリジナル、ゼロ、絶対）を比較すること。
• 実験的に、どの定義がモデル性能の観点から重要データタプルを最もよく特定できるかを検証すること。
• データマーケットプレイスやモデル学習において、理論的に整合的で実用的に効果的なデータ評価手法を提供すること。

提案手法

• 各データタプルのマージナル寄与をシャープレイ値計算においてその絶対値に置き換える、新しい定義として絶対シャープレイ値を提案する。
• ランダムなデータタプル順列の平均を取ることで、シャープレイ値を効率的に近似するためのモンテカルロサンプリングを用いる。
• 3つのバリエーションを定義する：オリジナル（元のマージナル寄与）、ゼロ（ゼロでクリッピング）、絶対（マージナル寄与の絶対値）。
• 保持されたテストセット上で評価される、モデル精度に基づく標準的なユーティリティ関数（SVMおよびロジスティック回帰）を採用する。
• アイrisデータセットに対してシャープレイ値計算を適用し、上位Kおよび下位Kのデータタプルを用いてモデルを学習し、精度を測定する。
• 収束制御を施したアルゴリズム的サンプリングを用いて、バイアスのないかつ効率的な近似を実現する。

実験結果

リサーチクエスチョン

• RQ1 マージナル寄与の絶対値を取ることで、機械学習モデルにおける重要データタプルの識別が向上するか？
• RQ2 オリジナル、ゼロ、絶対の3つのシャープレイ値定義の違いが、データ重要度の順序付けに与える影響は何か？
• RQ3 既存の定義と比較して、絶対シャープレイ値は真に重要または重要でないデータタプルをよりよく区別できるか？
• RQ4 絶対シャープレイ値で上位Kのデータタプルに順序付けられたデータで学習したモデルは、オリジナルまたはゼロシャープレイ値に基づくものよりも高い精度を達成するか？
• RQ5 特にマージナル寄与が負である場合に、絶対シャープレイ値の定義は、データタプルの真の寄与度をよりロバストに捉えられるか？

主な発見

• アイrisデータセットにおけるロジスティック回帰およびSVMの両方において、絶対シャープレイ値で上位35個のデータタプルに順序付けられたモデルは、100.00%の精度を達成した。これは、高価値データを効果的に特定していることを確認する。
• 一方、絶対シャープレイ値で下位35個のデータタプルに順序付けられたモデルは60.00%の精度を示したが、これはゼロシャープレイ値定義が達成した63.33%よりも顕著に低いものであり、絶対シャープレイ値が重要でないデータをよりよく特定していることを示している。
• これに対して、オリジナルシャープレイ値では、上位Kおよび下位Kのデータタプルで学習したモデルの精度が両方とも100.00%であったため、重要データと非重要データを区別できていないことが判明した。
• 絶対シャープレイ値では、上位10個の順位データのうち6つがサポートベクターに正しく含まれており、ゼロ（5つ）およびオリジナル（4つ）を上回った。これは、モデル構造と整合性があることを確認している。
• 絶対シャープレイ値で下位10個のデータタプルは、特徴空間においてより密に集中しており、影響力が小さいことが示された。これは、その低評価と整合的である。
• 結果として、絶対シャープレイ値は、マージナル寄与の絶対値を重視するため、オリジナルおよびゼロ定義とは異なり、大きな絶対値の負の寄与も重要視する。この点が、データ重要度評価において優れていることを示している。