[论文解读] Model Agnostic Multilevel Explanations

Karthikeyan Natesan Ramamurthy, Bhanukiran Vinzamuri+2 more|arXiv (Cornell University)|Mar 12, 2020

Explainable Artificial Intelligence (XAI)参考文献 21被引用 20

一句话总结

本文提出了一种模型无关的多层级解释方法（MAME），该方法通过聚类LIME等方法生成的局部解释，构建一个包含全局、中间和实例层级的分层解释树。通过联合优化组内凝聚力并保持黑盒模型的保真度，MAME在可扩展性和保真度方面表现更优，其有效性通过专家和非专家用户研究得到验证。

ABSTRACT

In recent years, post-hoc local instance-level and global dataset-level explainability of black-box models has received a lot of attention. Much less attention has been given to obtaining insights at intermediate or group levels, which is a need outlined in recent works that study the challenges in realizing the guidelines in the General Data Protection Regulation (GDPR). In this paper, we propose a meta-method that, given a typical local explainability method, can build a multilevel explanation tree. The leaves of this tree correspond to the local explanations, the root corresponds to the global explanation, and intermediate levels correspond to explanations for groups of data points that it automatically clusters. The method can also leverage side information, where users can specify points for which they may want the explanations to be similar. We argue that such a multilevel structure can also be an effective form of communication, where one could obtain few explanations that characterize the entire dataset by considering an appropriate level in our explanation tree. Explanations for novel test points can be cost-efficiently obtained by associating them with the closest training points. When the local explainability technique is generalized additive (viz. LIME, GAMs), we develop a fast approximate algorithm for building the multilevel tree and study its convergence behavior. We validate the effectiveness of the proposed technique based on two human studies -- one with experts and the other with non-expert users -- on real world datasets, and show that we produce high fidelity sparse explanations on several other public datasets.

研究动机与目标

• 为解决局部实例级与全局数据集级解释之间的多层级可解释性差距，特别是应对GDPR合规性要求。
• 通过联合学习不同数据点间不同程度的凝聚力，实现灵活、用户可控的解释粒度。
• 通过在多个抽象层级上生成独特且非冗余的洞察，提升解释的保真度与沟通价值。
• 通过合理近似方法实现解释过程的可扩展性，尤其适用于广义可加模型（如LIME）。
• 通过人类用户研究与公共数据集上的定量指标验证该方法的有效性。

提出的方法

• MAME构建一个多层级解释树，其中叶节点为局部解释，根节点为全局解释，中间节点为通过聚类生成的群体级解释。
• 采用联合优化框架，通过基于预测接近度的加权邻接矩阵，强制使具有相似黑盒预测结果的样本在解释上保持一致性。
• 该方法支持附加信息（如用户指定的分组或基于类别的相似性），以指导聚类与解释凝聚力。
• 对于广义可加模型（如LIME、GAMs），MAME引入一种快速近似算法，具有可证明的收敛性行为。
• 采用后处理技术，确保解释稀疏且可解释，且非零特征数量固定。
• 该方法具有模型无关性，可应用于任何具有参数形式的局部解释方法。

实验结果

研究问题

• RQ1 多层级解释是否能提供仅靠局部或全局解释无法捕捉的洞察？
• RQ2 如何控制解释间的凝聚力，以生成有意义的中间层级分组？
• RQ3 与Two Step和SP-LIME等现有方法相比，MAME是否提升了解释保真度？
• RQ4 MAME是否能在保持高解释质量的前提下实现高效扩展？
• RQ5 专家与非专家用户如何评价多层级解释的可解释性与实用性？

主要发现

• 在分类数据集上，MAME在广义保真度方面优于Two Step和SP-LIME，尤其在小簇数条件下表现更优，这对可解释性至关重要。
• 在Auto MPG回归数据集上，MAME与Two Step表现相近，且均优于SP-LIME，这与数据集的简单性相符。
• 在ATIS数据集上，SP-LIME因运行速度过慢而难以扩展，而MAME保持高效且有效。
• MAME的特征重要性排序与黑盒模型的真实特征重要性更接近，仅在Waveform数据集上略逊于最优方法，但仍表现良好。
• 专家与非专家用户的用户研究均证实，多层级解释提供了独特且非冗余的洞察，这些洞察无法被局部或全局视图所涵盖。
• 该方法成功识别出有意义的分组，例如来自不同制造商但类型相似而行为不同的泵，展示了其实际可解释性价值。