[论文解读] On Baselines for Local Feature Attributions

Johannes Haug, Stefan Zürn+2 more|arXiv (Cornell University)|Jan 4, 2021

Explainable Artificial Intelligence (XAI)参考文献 12被引用 16

一句话总结

本文为表格数据局部特征归因中的基线方法提出了一种新颖的分类法，并通过实证评估其对归因质量的影响。研究发现，基线方法显著影响判别性能，其中期望、高斯、常数和模糊基线表现更优，而均匀和最大距离基线通常表现较差，原因在于其与数据分布的对齐性较差。

ABSTRACT

High-performing predictive models, such as neural nets, usually operate as black boxes, which raises serious concerns about their interpretability. Local feature attribution methods help to explain black box models and are therefore a powerful tool for assessing the reliability and fairness of predictions. To this end, most attribution models compare the importance of input features with a reference value, often called baseline. Recent studies show that the baseline can heavily impact the quality of feature attributions. Yet, we frequently find simplistic baselines, such as the zero vector, in practice. In this paper, we show empirically that baselines can significantly alter the discriminative power of feature attributions. We conduct our analysis on tabular data sets, thus complementing recent works on image data. Besides, we propose a new taxonomy of baseline methods. Our experimental study illustrates the sensitivity of popular attribution models to the baseline, thus laying the foundation for a more in-depth discussion on sensible baseline methods for tabular data.

研究动机与目标

• 为解决局部特征归因中基线方法缺乏标准化分类框架的问题。
• 通过实证评估不同基线方法对表格数据集上特征归因判别质量的影响。
• 通过在多个归因模型上比较性能，识别出最适合表格数据的基线方法。
• 为实际应用和未来研究提供基线选择的系统性参考。

提出的方法

• 基于静态/动态和确定性/随机性属性，提出一种二维基线方法分类法。
• 将现有基线方法（如常数、期望、高斯、均匀、最大距离、模糊和中性）归入所提出的分类法中。
• 使用四种最先进的归因模型（LIME、KernelSHAP、DeepLIFT、Grad-CAM）在不同基线下生成特征归因。
• 在多个表格数据集（如Communities、HAR、欺诈检测）上进行消融实验，以衡量归因的判别性能。
• 以随机基线作为性能参考点，评估归因质量的相对表现。
• 在具有不同特征（如PCA变换特征）和类别不平衡等特性的数据集上分析实验结果。

实验结果

研究问题

• RQ1 不同基线方法如何影响表格数据中局部特征归因的判别能力？
• RQ2 哪些基线方法在多种表格数据集中能持续产生更可靠且信息量更高的归因？
• RQ3 基线选择在多大程度上影响模型预测的可解释性和公平性？
• RQ4 系统化的基线方法分类法能否提升实际应用中基线选择的系统性？

主要发现

• 期望基线始终产生高度判别的归因，因其通过计算训练数据中各特征的均值，近似了数据生成分布。
• 高斯基线表现也优异，可能是因为其能有效建模特征的中心趋势，尤其当数据服从正态分布时。
• 常数基线和模糊基线表现几乎完全相同，表明模糊处理将特征方差降低至近似常数水平，使其在实践中功能相似。
• 均匀基线和最大距离基线通常表现较差，往往无法超越随机基线，可能是因为其与数据分布对齐性差，可能产生类似异常值的数值。
• 在高度不平衡的欺诈检测数据集中，所有基线表现相近，可能是因为特征工程过程中去除了具有判别性的主成分，从而削弱了整体信号。
• 随着维度增加，KernelSHAP的性能下降，证实了其已知的计算局限性，尽管在样本充足时仍保持理论最优性。