[论文解读] CS-Shapley: Class-wise Shapley Values for Data Valuation in Classification

Stephanie Schoch, Haifeng Xu+1 more|arXiv (Cornell University)|Nov 13, 2022

Machine Learning and Data Classification被引用 5

一句话总结

CS-Shapley 提出了一种新型的类别特定 Shapley 值方法，能够区分数据点对其所属类别（类内）和其它类别（类外）的贡献，采用一种增强型价值函数，以提升对噪声或误标数据的检测能力。该方法在两个理想公理下具有理论上的唯一性，并在四种分类器和九个数据集上，于数据移除和噪声标签检测任务中均优于现有方法，且其值可在包括神经网络在内的多种模型间实现可转移。

ABSTRACT

Data valuation, or the valuation of individual datum contributions, has seen growing interest in machine learning due to its demonstrable efficacy for tasks such as noisy label detection. In particular, due to the desirable axiomatic properties, several Shapley value approximation methods have been proposed. In these methods, the value function is typically defined as the predictive accuracy over the entire development set. However, this limits the ability to differentiate between training instances that are helpful or harmful to their own classes. Intuitively, instances that harm their own classes may be noisy or mislabeled and should receive a lower valuation than helpful instances. In this work, we propose CS-Shapley, a Shapley value with a new value function that discriminates between training instances' in-class and out-of-class contributions. Our theoretical analysis shows the proposed value function is (essentially) the unique function that satisfies two desirable properties for evaluating data values in classification. Further, our experiments on two benchmark evaluation tasks (data removal and noisy label detection) and four classifiers demonstrate the effectiveness of CS-Shapley over existing methods. Lastly, we evaluate the "transferability" of data values estimated from one classifier to others, and our results suggest Shapley-based data valuation is transferable for application across different models.

研究动机与目标

• 为解决现有基于 Shapley 的数据估值方法仅将整体准确率作为唯一价值函数，无法区分某类中帮助性与有害性实例的局限性。
• 提出一种新价值函数，明确衡量数据点对其自身类别与其它类别的贡献，从而实现对噪声或误标数据的更好检测。
• 理论上证明所提出的类别特定价值函数是满足分类任务数据估值两个理想公理的（本质上）唯一函数。
• 在多种数据集和分类器上，通过高价值数据移除和噪声标签检测任务，对 CS-Shapley 进行实证评估。
• 研究基于 Shapley 的数据值从简单模型（如逻辑回归）向更复杂模型（包括深度神经网络）的可转移性。

提出的方法

• 引入一种类别特定的价值函数 $ v_y(S \cup \{i\}) $，用于计算当数据点 $ i $ 被加入子集 $ S $ 时，其对类内准确率的影响，同时对类外准确率进行加权。
• 定义该价值函数，使得当数据点提升类内性能并降低类外性能时，其贡献更高。
• 将此价值函数嵌入 Shapley 值框架，以计算同时反映类内帮助性与类外危害性的数据值。
• 采用 TMC-Shapley 近似方法，高效估计大规模数据集的 Shapley 值。
• 通过在源分类器（如逻辑回归）上计算数据值，并将其应用于目标分类器（如 MLP）而不重新训练，评估其可转移性。
• 利用高价值数据移除任务和噪声标签检测任务，在多个分类器和数据集上对性能进行基准测试。

实验结果

研究问题

• RQ1 是否存在一种分类任务中的数据估值价值函数，能够区分类内与类外贡献，从而实现对有害或噪声实例的更好检测？
• RQ2 所提出的类别特定价值函数是否是满足分类任务数据估值两个理想公理的唯一函数？
• RQ3 CS-Shapley 在高价值数据移除和噪声标签检测任务中是否优于现有基于 Shapley 的数据估值方法？
• RQ4 在简单分类器（如逻辑回归）上估计的基于 Shapley 的数据值，能否有效转移到更复杂的模型（如深度神经网络）？
• RQ5 在源分类器上数据值的性能是否能可靠预测其在目标分类器上的表现？

主要发现

• CS-Shapley 在所有九个数据集和四个分类器上的高价值数据移除任务中均优于现有方法，在其中八个数据集中具有统计显著性提升。
• 该方法在噪声标签检测任务中表现更优，能更准确地识别出误标实例。
• 理论分析证实，所提出的价值函数是满足两个理想公理的（本质上）唯一函数：类内贡献的公平性与类外危害的敏感性。
• 在逻辑回归上计算的基于 Shapley 的数据值可成功转移到 MLP 模型，目标模型上的性能模式与源模型高度一致。
• 数据值的可转移性表明，Shapley 值捕捉到了对模型架构具有鲁棒性的通用数据质量信号。
• 即使在转移到神经网络时，CS-Shapley 仍保持强劲性能，表明其在实践中具备可扩展的、与模型无关的数据估值潜力。