[论文解读] Explaining the data or explaining a model? Shapley values that uncover non-linear dependencies

Daniel Fryer, Inga Strümke+1 more|arXiv (Cornell University)|Jul 12, 2020

Explainable Artificial Intelligence (XAI)参考文献 27被引用 8

一句话总结

本文提出了 Sunnies，这是首个与模型无关的 Shapley 值方法，通过使用统计依赖性度量（如能量距离相关性、仿射不变距离相关性以及希尔伯特-施мид特独立性准则）作为特征函数，解释数据中非线性特征依赖关系。与依赖模型的方法不同，Sunnies 不依赖于训练好的模型，从而揭示数据的内在结构，实现有效的探索性数据分析和模型诊断，将非线性依赖关系归因于各个特征。

ABSTRACT

Shapley values have become increasingly popular in the machine learning literature thanks to their attractive axiomatisation, flexibility, and uniqueness in satisfying certain notions of `fairness'. The flexibility arises from the myriad potential forms of the Shapley value extit{game formulation}. Amongst the consequences of this flexibility is that there are now many types of Shapley values being discussed, with such variety being a source of potential misunderstanding. To the best of our knowledge, all existing game formulations in the machine learning and statistics literature fall into a category which we name the model-dependent category of game formulations. In this work, we consider an alternative and novel formulation which leads to the first instance of what we call model-independent Shapley values. These Shapley values use a (non-parametric) measure of non-linear dependence as the characteristic function. The strength of these Shapley values is in their ability to uncover and attribute non-linear dependencies amongst features. We introduce and demonstrate the use of the energy distance correlations, affine-invariant distance correlation, and Hilbert-Shmidt independence criterion as Shapley value characteristic functions. In particular, we demonstrate their potential value for exploratory data analysis and model diagnostics. We conclude with an interesting expository application to a classical medical survey data set.

研究动机与目标

• 解决缺乏与模型无关的 Shapley 值方法来解释数据内在依赖关系而非模型行为的问题。
• 开发一种不依赖于拟合模型或模型类别的特征重要性框架。
• 通过基于统计依赖性的原则化、公平的归因机制，实现对数据中非线性和交互效应的检测。
• 展示此类值在探索性数据分析和模型诊断中的实用性，特别是在识别数据与模型预测之间差异方面。
• 提供一种新的诊断视角，用于揭示机器学习模型中的隐藏偏差或结构不匹配，例如现实数据中与性别相关的偏差。

提出的方法

• 提出一种新颖的游戏公式，其中特征函数为非线性统计依赖性度量（如能量距离相关性、HSIC、AIDC），而非模型性能或预测误差。
• 基于每个特征对特征集与目标变量之间整体依赖性的边际贡献，定义 Shapley 值，使用依赖度量作为收益函数。
• 应用一致的蒙特卡洛算法（Song 等，2016）来近似 Shapley 值，因为对于大规模特征集，精确计算不可行。
• 引入三种诊断指标：标签上的归因依赖性（ADL）、模型预测中的归因依赖性（ADP）和残差中的归因依赖性（ADR），用于比较数据结构与模型行为。
• 当已知特征相互独立时，采用块分解方法，将计算成本从 O(2^n) 降低至每个块 O(2^k)，其中 k << n。
• 采用基于距离相关性（DC）的总体水平渐近保证进行依赖性检测，尽管承认其对线性关系存在偏差。

实验结果

研究问题

• RQ1 Shapley 值能否被构造成在不依赖训练模型的前提下解释数据中的非线性依赖关系？
• RQ2 如何利用统计依赖性度量作为特征函数，构建与模型无关的 Shapley 值？
• RQ3 此类值在多大程度上能够检测随时间或跨数据子集的依赖结构变化？
• RQ4 与依赖模型的对应方法相比，与模型无关的 Shapley 值在诊断模型-数据不匹配方面表现如何？
• RQ5 该方法能否揭示模型中的隐藏偏差或结构不匹配，例如医疗数据中与性别相关的偏差？

主要发现

• Sunnies 在动态数据生成过程中成功检测到非线性依赖结构随时间的变化，并在模型性能下降前将变化归因于特定特征。
• 在模型诊断中，Sunnies 揭示即使训练数据是性别平衡的，性别平衡模型仍未能捕捉女性的真实依赖结构，表明模型表示中可能存在偏差。
• 该方法将五个特征的 240 个边际贡献汇总为每个诊断指标（ADL、ADP、ADR）五个可解释的 Shapley 值，实现清晰的可视化比较和洞察提取。
• 使用能量距离相关性、AIDC 和 HSIC 作为特征函数，能够检测线性方法可能遗漏的非线性和非高斯依赖关系。
• 尽管 Shapley 值具有指数级复杂度，但通过利用特征独立性进行块分解，显著提升了计算可行性，减少了所需边际贡献的数量。
• 该方法提供了一种诊断工具，可区分数据驱动的依赖性（ADL）与模型驱动的依赖性（ADP），突出显示可能表明模型失效或偏差的差异。