[论文解读] Evaluating the Correctness of Explainable AI Algorithms for Classification

Orcun Yalcin, Xiuyi Fan+1 more|arXiv (Cornell University)|May 20, 2021

Explainable Artificial Intelligence (XAI)参考文献 27被引用 17

一句话总结

本文提出一种方法，通过使用形式语法生成具有已知解释真实值的合成数据集，对二值分类中的可解释人工智能（XAI）算法的正确性进行定量评估。结果表明，SHAP在解释准确性方面优于LIME，且随着数据集复杂度（以G-复杂度衡量）的增加，分类与解释性能均下降。

ABSTRACT

Explainable AI has attracted much research attention in recent years with feature attribution algorithms, which compute "feature importance" in predictions, becoming increasingly popular. However, there is little analysis of the validity of these algorithms as there is no "ground truth" in the existing datasets to validate their correctness. In this work, we develop a method to quantitatively evaluate the correctness of XAI algorithms by creating datasets with known explanation ground truth. To this end, we focus on the binary classification problems. String datasets are constructed using formal language derived from a grammar. A string is positive if and only if a certain property is fulfilled. Symbols serving as explanation ground truth in a positive string are part of an explanation if and only if they contributes to fulfilling the property. Two popular feature attribution explainers, Local Interpretable Model-agnostic Explanations (LIME) and SHapley Additive exPlanations (SHAP), are used in our experiments.We show that: (1) classification accuracy is positively correlated with explanation accuracy; (2) SHAP provides more accurate explanations than LIME; (3) explanation accuracy is negatively correlated with dataset complexity.

研究动机与目标

• 解决在真实世界数据集中缺乏用于评估XAI解释正确性的真实值的问题。
• 开发一种系统化、定量的基准，用于评估类似LIME和SHAP的特征归因方法。
• 利用形式语言理论定义并度量二值分类中“正确”解释的含义。
• 探究模型性能与解释准确性之间的关系。
• 提出G-复杂度作为可控的数据集复杂度度量，以影响可解释性。

提出的方法

• 使用形式语法规则构建二值分类数据集，其中正样本字符串满足由语法定义的特定属性。
• 将解释真实值定义为在正样本字符串中促成满足该属性的符号（特征）集合。
• 通过改变语法结构来生成具有可控复杂度的数据集，G-复杂度的建模参考了柯尔莫哥洛夫复杂度。
• 使用LIME和SHAP作为模型无关的解释器，为每个样本生成特征重要性得分。
• 使用k-准确率指标评估解释的正确性，衡量前k个特征与真实值的匹配比例。
• 在不同字符串长度和字母表大小下，将分类AUC与解释k-准确率进行相关性分析。

实验结果

研究问题

• RQ1 能否系统性地生成具有已知解释真实值的合成数据集，以用于评估XAI方法？
• RQ2 分类准确率与解释准确率之间是否存在可度量的相关性？
• RQ3 在具有已知真实值的受控条件下，SHAP与LIME在解释正确性方面如何比较？
• RQ4 以G-复杂度衡量的数据集复杂度如何影响分类与解释性能？
• RQ5 所提出的评估框架是否揭示了LIME与SHAP在解释保真度方面存在系统性差异？

主要发现

• 分类准确率与解释准确率呈正相关，表明性能更好的模型往往产生更准确的解释。
• SHAP在解释准确性方面显著优于LIME，在所有实验中的平均k-准确率高出49%。
• 随着G-复杂度衡量的数据集复杂度增加，解释准确率下降，显示出负相关性。
• 在字符串长度为30时，SHAP的k-准确率达到-0.93，而LIME仅为-0.53，表明存在显著性能差距。
• 当字母表大小为4、字符串长度为25时，SHAP的平均k-准确率（0.49）高于LIME（0.27），进一步证实其一致性优势。
• 结果表明，SHAP在理论一致性属性方面优于LIME，尤其在保持身份一致性和对相似输入的稳定性方面表现更优。