[论文解读] Explaining black box decisions by Shapley cohort refinement

Masayoshi Mase, Art B. Owen+1 more|arXiv (Cornell University)|Nov 1, 2019

Explainable Artificial Intelligence (XAI)参考文献 24被引用 30

一句话总结

本文提出了一种名为 cohort Shapley 的新型变量重要性方法，通过在目标实例周围构建基于相似性的队列，仅使用观测数据来解释黑箱模型的决策。与基线 Shapley 不同，该方法通过根据预测变量相似性来增减样本以优化队列，避免了不切实际的反事实情形，从而获得更可靠且直观的重要性评分，能够捕捉间接影响，并确保相同预测变量的重要性相等。

ABSTRACT

We introduce a variable importance measure to quantify the impact of individual input variables to a black box function. Our measure is based on the Shapley value from cooperative game theory. Many measures of variable importance operate by changing some predictor values with others held fixed, potentially creating unlikely or even logically impossible combinations. Our cohort Shapley measure uses only observed data points. Instead of changing the value of a predictor we include or exclude subjects similar to the target subject on that predictor to form a similarity cohort. Then we apply Shapley value to the cohort averages. We connect variable importance measures from explainable AI to function decompositions from global sensitivity analysis. We introduce a squared cohort Shapley value that splits previously studied Shapley effects over subjects, consistent with a Shapley axiom.

研究动机与目标

• 通过避免不可能或不太可能的输入组合，解决基线 Shapley 值在解释黑箱模型时的局限性。
• 开发一种仅依赖观测数据点的变量重要性度量，确保其合理性与可解释性。
• 实现对模型中未使用变量（如红lining 审计中的受保护属性）的间接影响的检测。
• 确保相同预测变量的重要性相等，避免因模型特异性偏差导致的重要性评分偏差。
• 提供一种支持模型无关和基于最近邻的敏感性分析的方法。

提出的方法

• Cohort Shapley 通过在目标实例的预测变量子集上选择与之相似的样本，形成 $2^d$ 个队列，每个变量使用相似性阈值进行定义。
• 对于每个预测变量，该方法评估通过仅包含相似样本的方式优化队列后，队列平均预测值的变化程度。
• 在这些队列平均值上计算 Shapley 值，以分配变量重要性，确保符合 Shapley 公理。
• 该方法使用蒙特卡洛采样，以高效近似高维数据中的 Shapley 值。
• 它支持基于模型和基于响应的队列平均，从而在不同假设下实现敏感性分析。
• 使用相似性度量来定义“相似”样本，该度量的选择会影响最终的重要性评分。

实验结果

研究问题

• RQ1 我们如何在不依赖不切实际的反事实输入的情况下解释黑箱模型的决策？
• RQ2 我们能否设计一种仅使用观测数据且避免外推的变量重要性度量？
• RQ3 在捕捉真实预测影响方面，cohort Shapley 与基线 Shapley 相比如何，特别是在相关或冗余预测变量的情况下？
• RQ4 cohort Shapley 能否检测到未用于模型中的变量（如受保护属性）的间接影响？
• RQ5 cohort Shapley 是否能确保相同预测变量的重要性相等，而不论模型特异性的人工产物如何？

主要发现

• 在波士顿房价数据集中，由于依赖不切实际的合成数据点，cohort Shapley 将 'CRIM' 的重要性从基线 Shapley 中的最重要变量重新分类为最不重要的变量之一。
• cohort Shapley 将 'RM'、'ZN' 和 'LSTAT' 识别为关键影响因子，即使 'ZN' 未被模型使用，也能捕捉到结构性依赖关系。
• 该方法揭示了对 'ZN' 进行优化会间接降低队列中的 'LSTAT' 值，从而解释了为何 'LSTAT' 尽管模型使用率低，却具有高重要性。
• 基线 Shapley 因 'ZN' 未被模型使用而赋予其零重要性，而 cohort Shapley 由于其对队列构成的间接影响，赋予其非零值。
• cohort Shapley 的重要性评分更稳定且更具可解释性，因为其基于实际数据分布，而非外推的反事实数据。
• 数值分析表明，边际采样产生的数据点远比保留数据集更不切实际，验证了基于队列方法的必要性。