[论文解读] Global Explanations of Neural Networks: Mapping the Landscape of Predictions

Mark Ibrahim, Melissa Louie+2 more|arXiv (Cornell University)|Feb 6, 2019

Explainable Artificial Intelligence (XAI)参考文献 22被引用 19

一句话总结

本文提出GAM（全局归因映射），一种通过将相似的局部特征归因分组为子群体，从而为神经网络生成全局解释的方法，实现了可解释性、细粒度且可追溯到样本的解释。GAM通过揭示不同数据子群体中驱动预测的特征，提升了模型的透明度，其结果与已知的特征重要性高度一致，并在用户研究中表现出高可用性。

ABSTRACT

A barrier to the wider adoption of neural networks is their lack of interpretability. While local explanation methods exist for one prediction, most global attributions still reduce neural network decisions to a single set of features. In response, we present an approach for generating global attributions called GAM, which explains the landscape of neural network predictions across subpopulations. GAM augments global explanations with the proportion of samples that each attribution best explains and specifies which samples are described by each attribution. Global explanations also have tunable granularity to detect more or fewer subpopulations. We demonstrate that GAM's global explanations 1) yield the known feature importances of simulated data, 2) match feature weights of interpretable statistical models on real data, and 3) are intuitive to practitioners through user studies. With more transparent predictions, GAM can help ensure neural network decisions are generated for the right reasons.

研究动机与目标

• 为解决神经网络在异质性子群体中缺乏全局可解释性的问题。
• 克服现有全局归因方法的局限性，这些方法将解释简化为单一特征集合，缺乏对子群体的感知。
• 提供一种将全局归因与特定数据样本和子群体关联的方法，以提升模型诊断能力和公平性评估。
• 验证GAM的全局解释是否与可解释模型（如XGBoost）已知的特征重要性一致，并且对实践者而言直观易懂。
• 在子群体检测中实现可调节的粒度，以支持灵活、上下文感知的模型解释。

提出的方法

• 将每个局部归因视为特征的加权联合排序，同时保留特征重要性和相对排序关系。
• 使用基于秩的距离（加权与非加权）来度量局部归因之间的相似性，从而实现对相似归因的聚类。
• 应用层次聚类，根据特征重要性排序的相似性，将局部归因分组为子群体。
• 将每个全局归因分配至一个子群体，并报告其最优解释的样本比例。
• 使用可调节的聚类阈值控制子群体检测的粒度，从而支持更多或更少的子群体。
• 将每个全局归因追溯到具体样本，使实践者能够检查哪些数据点由每条解释最优解释。

实验结果

研究问题

• RQ1 在真实世界数据上，GAM能否生成准确反映可解释模型（如XGBoost）已知特征重要性的全局归因？
• RQ2 GAM的全局解释在多类基于梯度的局部解释方法中，与特征重要性排序的对齐程度如何？
• RQ3 在真实世界建模任务中，实践者在多大程度上认为GAM的解释比现有全局归因方法（如SP-LIME）更具直观性？
• RQ4 GAM将全局归因与特定子群体和样本关联的能力，在多大程度上提升了模型的可解释性和诊断能力？
• RQ5 GAM能否在保持人类可解释性的同时，有效捕捉神经网络中的非线性特征交互，并在多样化数据子群体中保持稳定？

主要发现

• 在模拟数据上，GAM的全局归因正确恢复了已知的特征重要性，验证了其在捕捉底层模式方面的准确性。
• 在真实世界信贷风险数据上，GAM的全局归因在F1分数衡量下与XGBoost的前10项特征重要性中的前7项一致，表明其与成熟模型具有高度一致性。
• 在用户研究中，94%的参与者基于GAM的条形图解释正确识别并移除了三个噪声特征，表明其具有高可用性和可解释性。
• 在模型改进任务中，实践者对GAM与SP-LIME的偏好几乎相同，表明GAM与现有最先进方法一样直观。
• 在所有三种局部解释方法（LIME、Integrated Gradients、DeepLIFT）中，GAM的全局归因始终将odor、spore-print-color、population和gill-color列为前五名特征，表明其具有稳健性和稳定性。
• 该方法成功识别出74%的样本中，population属于前五名特征，突显了子群体特定的特征相关性，从而提升了模型决策的透明度。