[論文レビュー] Data Banzhaf: A Robust Data Valuation Framework for Machine Learning

Tianhao Wang, Ruoxi Jia|arXiv (Cornell University)|May 30, 2022

Privacy-Preserving Technologies in Data被引用数 10

ひとこと要約

本稿では、協力ゲーム理論の概念であるBanzhaf値を用いてデータポイントの価値を割り当てる、機械学習における頑健なデータバリュエーションフレームワーク「Data Banzhaf」を提案する。確率的学習（例：SGD）に起因するノイズの多いモデル性能スコアに対する耐性を測るためのセーフティマージンという指標を導入し、Banzhaf値がShapley値やLeave-One-Out値よりも指数的に大きなセーフティマージンを達成することを示した。効率的なMaximum Sample Reuse（MSR）推定器により、理論的誤差保証を伴う低サンプル複雑性の近似が可能となり、確率的学習下でのデータ品質検出およびリウェイトリングにおいて、既存手法を上回る性能を発揮した。

ABSTRACT

Data valuation has wide use cases in machine learning, including improving data quality and creating economic incentives for data sharing. This paper studies the robustness of data valuation to noisy model performance scores. Particularly, we find that the inherent randomness of the widely used stochastic gradient descent can cause existing data value notions (e.g., the Shapley value and the Leave-one-out error) to produce inconsistent data value rankings across different runs. To address this challenge, we introduce the concept of safety margin, which measures the robustness of a data value notion. We show that the Banzhaf value, a famous value notion that originated from cooperative game theory literature, achieves the largest safety margin among all semivalues (a class of value notions that satisfy crucial properties entailed by ML applications and include the famous Shapley value and Leave-one-out error). We propose an algorithm to efficiently estimate the Banzhaf value based on the Maximum Sample Reuse (MSR) principle. Our evaluation demonstrates that the Banzhaf value outperforms the existing semivalue-based data value notions on several ML tasks such as learning with weighted samples and noisy label detection. Overall, our study suggests that when the underlying ML algorithm is stochastic, the Banzhaf value is a promising alternative to the other semivalue-based data value schemes given its computational advantage and ability to robustly differentiate data quality.

研究の動機と目的

• 確率的学習アルゴリズム（例：SGD）に起因するノイズの多い性能スコアが引き起こすデータバリュエーション順位の不安定性を解消すること。
• 性能スコアのノイズに対する耐性を定式化するための新しい指標として、『セーフティマージン』を定義し、データ価値順位を保持する最大の摂動を測定すること。
• 機械学習分野における既存のデータ価値概念の中から、半値（semivalue）としてのBanzhaf値が最大のセーフティマージンを達成することを同定すること。
• 低サンプル複雑性と性能スコアのノイズに対する頑健性を備えた、Banzhaf値の効率的かつ理論的裏付けのある推定器を開発すること。
• 確率的学習下でのデータ品質評価およびリウェイトリングタスクにおいて、Banzhaf値の優位性を実証的に検証すること。

提案手法

• セーフティマージンを正式な耐性指標として導入し、モデルの効用スコアへの摂動がデータ価値順位を保持する最大の範囲を測定すること。
• Banzhaf値が、Shapley値やLeave-One-Out値を含むすべての半値の中で最大のセーフティマージンを達成することを理論的・証明的に示すこと。
• Maximum Sample Reuse（MSR）原理に基づくBanzhaf値の効率的推定器を提案し、$\ell_\infty$誤差に対して対数的、$\ell_2$誤差に対してほぼ線形のサンプル複雑性で誤差保証を達成すること。
• Banzhaf値推定のためのサンプル複雑性の下界を導出し、MSR推定器がほぼ最適であることを示すこと。
• MSR推定器が性能スコアのノイズに対しても頑健であり、安定した価値順位を維持することを示すこと。
• 実世界の機械学習タスク（ノイズありラベル検出、データリウェイトリング）において、SGD学習下でフレームワークを評価すること。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配降下法の固有のランダム性は、既存のデータバリュエーション手法が生成するデータ価値順位の一貫性にどのように影響を与えるか？
• RQ2 ノイズの多いモデル性能スコアに対するデータバリュエーション手法の耐性を、数学的に厳密に測定する正式な方法は何か？
• RQ3 Shapley、Leave-One-Out、Banzhafのうち、ノイズのある効用スコア下で最大のセーフティマージンを達成するのはどの半値か？
• RQ4 Banzhaf値のための効率的かつ正確な推定器を、保証された誤差境界と低サンプル複雑性で構築できるか？
• RQ5 Banzhaf値は、確率的学習下での実用的ML応用（データ品質評価、リウェイトリング）において、安定した順位付けを維持し、既存手法を上回る性能を示せるか？

主な発見

• Banzhaf値は、Shapley値やLeave-One-Out誤差と比較して指数的に大きなセーフティマージンを達成しており、確率的学習に起因する性能スコアのノイズに対して著しく頑健であることが示された。
• Banzhaf値のセーフティマージンは、すべての半値の中で最大であり、摂動下でも一貫したデータ価値順位を維持するという理論的優位性を確認した。
• 提案されたMSR推定器は、$\ell_\infty$誤差に対して対数的サンプル複雑性、$\ell_2$誤差に対してほぼ線形サンプル複雑性を達成し、理論的下限に近い性能を示した。
• 実験的評価により、Data BanzhafはSGD学習下でノイズありラベル検出およびサンプルリウェイトリングにおいて、Shapley、LOO、Beta Shapleyを上回ることを示した。
• 効用スコアにガウスノイズを加えても、Spearman相関が複数回の実行で高い水準を維持し、順位の安定性が保たれた。
• Banzhaf値の頑健性は、ランダム化スムージングを施した勾配降下法など、さまざまな確率的最適化手法に一般化され、SGDに限定されないことが確認された。