[论文解读] An empirical study of the effect of background data size on the stability of SHapley Additive exPlanations (SHAP) for deep learning models

Han Yuan, Mingxuan Liu+3 more|arXiv (Cornell University)|Apr 24, 2022

Explainable Artificial Intelligence (XAI)被引用 15

一句话总结

本实证研究探讨了背景数据集大小对深度学习模型SHapley Additive解释（SHAP）稳定性的影响。基于MIMIC-III数据集和三层人工神经网络，作者表明，当背景数据集样本量较小时，SHAP值和变量排序会出现显著波动，但随着样本量增加，其稳定性逐渐提高，且呈现出U型可靠性模式，表明对极端重要性（最重要/最不重要）变量的解释更可靠。更大的背景数据集可提升解释的稳定性，提示用户应优先考虑数据规模以获得可信的可解释性。

ABSTRACT

Nowadays, the interpretation of why a machine learning (ML) model makes certain inferences is as crucial as the accuracy of such inferences. Some ML models like the decision tree possess inherent interpretability that can be directly comprehended by humans. Others like artificial neural networks (ANN), however, rely on external methods to uncover the deduction mechanism. SHapley Additive exPlanations (SHAP) is one of such external methods, which requires a background dataset when interpreting ANNs. Generally, a background dataset consists of instances randomly sampled from the training dataset. However, the sampling size and its effect on SHAP remain to be unexplored. In our empirical study on the MIMIC-III dataset, we show that the two core explanations - SHAP values and variable rankings fluctuate when using different background datasets acquired from random sampling, indicating that users cannot unquestioningly trust the one-shot interpretation from SHAP. Luckily, such fluctuation decreases with the increase of the background dataset size. Also, we notice an U-shape in the stability assessment of SHAP variable rankings, demonstrating that SHAP is more reliable in ranking the most and least important variables compared to moderately important ones. Overall, our results suggest that users should take into account how background data affects SHAP results, with improved SHAP stability as the background sample size increases.

研究动机与目标

• 探究背景数据集大小对深度学习模型SHAP解释稳定性的影响。
• 量化不同背景样本量下SHAP值和变量排序的波动情况。
• 利用精确（BLEU）和模糊（Jaccard）相似性度量评估基于SHAP的变量排序可靠性。
• 为选择最优背景数据集大小提供实用指导，以实现稳健的模型解释。

提出的方法

• 通过从MIMIC-III数据集中抽取的随机背景数据集（样本量100至1000）对SHAP解释进行实证评估。
• 利用DeepExplainer计算实例级SHAP值，以背景数据集估计先验期望（P_bg）。
• 将所有实例的SHAP值绝对值之和作为模型级变量重要性的度量。
• 采用BLEU分数（精确顺序比较）和Jaccard指数（模糊集合相似性）评估变量排序的稳定性。
• 对每种样本量进行100次独立模拟，通过统计分析量化SHAP值和排序的波动情况。
• 基于中心极限定理推理，解释随着样本量增加，背景分布的收敛特性。

实验结果

研究问题

• RQ1 背景数据集大小如何影响深度学习模型解释中SHAP值的稳定性？
• RQ2 基于不同大小的背景数据集，SHAP推导出的变量排序在多大程度上会发生波动？
• RQ3 SHAP变量排序的可靠性是否存在U型模式，表明对极端重要性（最重要/最不重要）变量的排序比中等重要性变量更稳定？
• RQ4 实现稳定且可信的SHAP解释的最优背景数据集大小是多少？
• RQ5 用户如何估算计算成本，并在预算限制下选择具有代表性的背景数据集？

主要发现

• 使用小样本背景数据集（如100个样本）时，SHAP值和变量排序表现出显著波动，表明稳定性较低。
• 随着背景数据集增大，SHAP解释的稳定性提高，BLEU和Jaccard分数从100到1000个样本单调上升。
• BLEU和Jaccard分数的U型模式表明，SHAP对最重要和最不重要的变量排序最为可靠，而对中等重要性变量的排序可靠性较低。
• 当背景样本量达到1000时，BLEU分数达到0.818，Jaccard指数达到0.924（平均值），表明变量排序具有高度稳定性。
• 本研究建议，使用完整训练数据集作为背景数据集可能是最优选择，尽管计算成本随样本量线性增加。
• 可通过100个样本的预实验估算更大数据集的计算成本，复杂度按m/100 × C_100线性扩展。