[论文解读] Who's responsible? Jointly quantifying the contribution of the learning algorithm and training data
本文提出了扩展Shapley值（Extended Shapley），这是一种原则化的框架，用于联合量化学习算法与训练数据对模型性能的贡献。通过将Shapley值理论扩展至同时将算法与数据视为共同责任人，该方法实现了机器学习中更公平的责任归属，实证验证表明其能够识别性能不佳是源于数据偏差还是算法缺陷。
A learning algorithm $A$ trained on a dataset $D$ is revealed to have poor performance on some subpopulation at test time. Where should the responsibility for this lay? It can be argued that the data is responsible, if for example training $A$ on a more representative dataset $D'$ would have improved the performance. But it can similarly be argued that $A$ itself is at fault, if training a different variant $A'$ on the same dataset $D$ would have improved performance. As ML becomes widespread and such failure cases more common, these types of questions are proving to be far from hypothetical. With this motivation in mind, in this work we provide a rigorous formulation of the joint credit assignment problem between a learning algorithm $A$ and a dataset $D$. We propose Extended Shapley as a principled framework for this problem, and experiment empirically with how it can be used to address questions of ML accountability.
研究动机与目标
- 为解决模型在子群体上失效时机器学习领域日益增长的责任归属需求。
- 正式定义学习算法与训练数据之间的联合信用分配问题。
- 开发一种基于博弈论的、原则化的框架，公平地归因于算法与数据双方。
- 实现对性能下降是否源于数据偏差或算法设计的实证分析。
- 提供一种可扩展的方法，即使在大规模数据集上也能高效计算联合贡献。
提出的方法
- 将经典Shapley值扩展至同时建模学习算法与数据点的贡献。
- 定义一个估值函数，计算每个算法和数据点在所有可能数据子集中的边际贡献。
- 使用截断的蒙特卡洛采样方法，高效近似扩展Shapley值，即使在大规模数据集上也适用。
- 将该框架应用于比较不同数据子集上的算法性能，分离出算法选择与数据构成的影响。
- 采用递归平均方案，在采样过程中增量式更新Shapley值，提升收敛效率。
- 引入性能容差阈值，避免对相似子集大小的冗余评估。
实验结果
研究问题
- RQ1在不考虑训练数据的情况下，学习算法在多大程度上应对子群体上的性能不佳负责？
- RQ2如何在模型失效时公平地分配算法设计与数据质量之间的责任？
- RQ3联合信用分配框架能否区分性能问题是由数据偏差还是次优的算法选择引起的？
- RQ4在大规模机器学习场景中，如何高效计算此类联合贡献？
- RQ5该框架是否能在真实世界故障案例（如有偏见的超分辨率模型）中揭示有意义的洞见？
主要发现
- 扩展Shapley值唯一满足联合信用分配的期望公理，使其成为责任归属问题的合理解决方案。
- 在成人收入数据集中，Adaboost相较于其他所有算法获得了正的扩展Shapley值，表明其与数据的联合贡献更优。
- 该框架成功区分了算法失效与数据偏差，如在带有标签子群体的合成实验中所示。
- 截断的蒙特卡洛近似方法即使在包含超过48,000个数据点的数据集上也能可靠且高效地收敛。
- 扩展Shapley值提供的洞见远超边际性能差异，揭示了故障的主要来源是算法还是数据。
- 在受控的合成环境中，扩展Shapley值正确识别出算法B具有完美性能（值为1.0），而算法A因非线性决策边界导致绿色标签点出现错误。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。