[論文レビュー] Beta Shapley: a Unified and Noise-reduced Data Valuation Framework for Machine Learning

Yongchan Kwon, James Zou|arXiv (Cornell University)|Oct 26, 2021

Machine Learning and Data Classification参考文献 36被引用数 21

ひとこと要約

この論文は、Shapley値の効率性公理を緩和することで、Data Shapley を一般化する統一的かつノイズ低減型のデータ評価フレームワーク、Beta Shapley を提案する。マージナル寄与度をベータ分布に基づいて重み付けすることで、特に小規模な集合のサイズに重点を置くことにより、ノイズを低減し、誤標識データの検出、サブサンプリング、ポイントの追加/削除タスクにおいて、Data Shapley や最先端手法を上回る優れた性能を発揮する。複数のベンチマークでその有効性が確認された。

ABSTRACT

Data Shapley has recently been proposed as a principled framework to quantify the contribution of individual datum in machine learning. It can effectively identify helpful or harmful data points for a learning algorithm. In this paper, we propose Beta Shapley, which is a substantial generalization of Data Shapley. Beta Shapley arises naturally by relaxing the efficiency axiom of the Shapley value, which is not critical for machine learning settings. Beta Shapley unifies several popular data valuation methods and includes data Shapley as a special case. Moreover, we prove that Beta Shapley has several desirable statistical properties and propose efficient algorithms to estimate it. We demonstrate that Beta Shapley outperforms state-of-the-art data valuation methods on several downstream ML tasks such as: 1) detecting mislabeled training data; 2) learning with subsamples; and 3) identifying points whose addition or removal have the largest positive or negative impact on the model.

研究の動機と目的

• Data Shapley の限界、特にすべての集合サイズに対して一様に平均化することによる高い分散の問題を是正すること。
• LOO や Data Shapley といった複数のデータ評価手法を、一貫した原理的枠組みの下で統合するフレームワークの構築。
• ノイズのあるラベルの検出やアクティブなデータ選択といった実用的機械学習タスクにおける統計的頑健性と性能の向上。
• 小規模な集合サイズにおけるマージナル寄与度が、より高い信号対ノイズ比を示すという事実を裏付けることで、非一様な重み付けスキームの妥当性を示すこと。
• 大規模な設定においても効率的に Beta Shapley 値を推定できるモンテカルロベースのアルゴリズムの提供。

提案手法

• Beta Shapley は、効率性公理を緩和することで Data Shapley を一般化し、マージナル寄与度に対する柔軟な重み付けスキームを可能にする。
• パラメータ α と β を制御することで、小規模または大規模な集合サイズに重点を置くべータ分布を用いて、さまざまな集合サイズにおけるマージナル寄与度に重みを付与する。
• フレームワークは、公平性と対称性を保ちつつ効率性を放棄する半値（semivalue）として導出される。
• 異なるサイズのサブセットを、ベータ重みに比例する確率でサンプリングすることで、Beta Shapley 値を推定する効率的なモンテカルロサンプリングアルゴリズムを提案する。
• 正負の両方のデータ値をサポートすることで、有害またはノイズのあるデータポイントの特定が可能になる。
• 理論的分析により、特に小規模な集合サイズの寄与度を優先する場合、Beta Shapley は Data Shapley よりも統計的ノイズが低減していることが示された。

実験結果

リサーチクエスチョン

• RQ1 Shapley 値の効率性公理を緩和することで、機械学習におけるより頑健で効果的なデータ評価フレームワークを構築できるか？
• RQ2 小規模な集合サイズにおけるマージナル寄与度は、大規模な集合サイズにおけるものよりも高い信号対ノイズ比を示すか？
• RQ3 ベータ重み付きマージナル寄与度に基づく統一的フレームワークは、実世界の機械学習タスクにおいて、Data Shapley や LOO よりも優れた性能を発揮できるか？
• RQ4 データ評価におけるマージナル寄与度の最適な重み付けスキームは何か？ これは機械学習タスクやデータ分布に依存するか？
• RQ5 統計的正確性を維持しつつ、大規模スケールで効率的に Beta Shapley をモンテカルロサンプリングで推定する方法は何か？

主な発見

• 小規模な集合サイズのマージナル寄与度に重点を置く Beta(16,1) は、誤標識データの検出およびポイント追加実験で最高の性能を示し、15のデータセット平均で0.757の精度向上を達成した。
• Beta(16,1) は、ポイント追加タスクにおいて Data Shapley (Beta(1,1)) や LOO を上回り、高価値データポイントを選択する際のモデル精度向上がより速く一貫性を示した。
• ポイント削除タスクでは、Data Shapley がわずかに他の手法を上回った。これは一様な重み付けが大規模な集合サイズからの削除の影響をより効果的に捉えているためである。
• ドイツ語データセットでは、F1 スコアが 0.872 ± 0.004 を達成し、LOO や他のベースラインを上回った。
• サブサンプリングタスクにおいて、Beta(4,1) と Beta(16,1) が最良の性能を示し、Vehicle データセットでは 0.772 ± 0.004 の精度を達成し、一様サンプリングを著しく上回った。
• 図7のヒートマップは、15のデータセットのうち12つで Beta(16,1) が最良の性能を示しており、最良の性能を達成するための線形スケーリング頻度が0.757であることを確認した。