[论文解读] DLIME: A Deterministic Local Interpretable Model-Agnostic Explanations Approach for Computer-Aided Diagnosis Systems

Muhammad Rehman Zafar, Naimul Khan|arXiv (Cornell University)|Jun 24, 2019

Explainable Artificial Intelligence (XAI)被引用 56

一句话总结

DLIME 在 LIME 的随机扰动中引入层次聚类和 KNN，以生成对医疗预测的确定且稳定的解释，在三个 UCI 医疗数据集上得以证明。

ABSTRACT

Local Interpretable Model-Agnostic Explanations (LIME) is a popular technique used to increase the interpretability and explainability of black box Machine Learning (ML) algorithms. LIME typically generates an explanation for a single prediction by any ML model by learning a simpler interpretable model (e.g. linear classifier) around the prediction through generating simulated data around the instance by random perturbation, and obtaining feature importance through applying some form of feature selection. While LIME and similar local algorithms have gained popularity due to their simplicity, the random perturbation and feature selection methods result in "instability" in the generated explanations, where for the same prediction, different explanations can be generated. This is a critical issue that can prevent deployment of LIME in a Computer-Aided Diagnosis (CAD) system, where stability is of utmost importance to earn the trust of medical professionals. In this paper, we propose a deterministic version of LIME. Instead of random perturbation, we utilize agglomerative Hierarchical Clustering (HC) to group the training data together and K-Nearest Neighbour (KNN) to select the relevant cluster of the new instance that is being explained. After finding the relevant cluster, a linear model is trained over the selected cluster to generate the explanations. Experimental results on three different medical datasets show the superiority for Deterministic Local Interpretable Model-Agnostic Explanations (DLIME), where we quantitatively determine the stability of DLIME compared to LIME utilizing the Jaccard similarity among multiple generated explanations.

研究动机与目标

• 在用于 CAD 系统的局部模型无关解释中激发对稳定性的关注。
• 提出一种使用 HC 和 KNN 的对 LIME 的确定性替代方案（DLIME）。
• 展示 DLIME 在医疗数据集上跨迭代产生一致的解释。

提出的方法

• 用层次聚类的凝聚聚类来形成簇，替代 LIME 中的随机扰动。
• 使用 KNN 识别测试样本的主导簇。
• 在所选簇上训练线性回归模型以生成解释。
• 通过使用聚类推导的样本而非随机扰动来证明确定性。
• 通过在多次解释中使用 Jaccard 相似度（或距离）来评估稳定性。
• 提供公开代码和数据仓库以确保可重复性。

实验结果

研究问题

• RQ1 像 DLIME 这样确定性的框架是否能为同一实例提供在重复解释中稳定的解释？
• RQ2 在解释医疗数据集的预测时，DLIME 与 LIME 的稳定性有何比较？
• RQ3 在 CAD 情境中使用层次聚类和基于 KNN 的采样对解释质量的影响是什么？

主要发现

数据集	不透明模型	DLIME	LIME
Breast Cancer	RF	0	9.43%
Breast Cancer	NN	0	57.95%
Liver Patients	RF	0	17.87%
Liver Patients	NN	0	55.00%
Hepatitis Patients	RF	0	16.46%
Hepatitis Patients	NN	0	39.04%

• DLIME 在所有测试数据集和模型上，跨 10 次迭代产生确定性解释，Jaccard 距离为零。
• LIME 在多次迭代中的解释显示非零且显著的变异性，表明不稳定。
• 在三个医疗数据集（Breast Cancer、Liver、Hepatitis）上的实验显示 DLIME 的稳定性优于 LIME。
• 表结果显示 DLIME 的稳定性在所有数据集-模型组合中始终为零，而 LIME 则表现出显著不稳定性（非零 Jaccard 距离）。
• 研究证实 DLIME 可以在解释保持一致性的同时，而 LIME 的扰动会导致特征重要性波动。
• 所有数据集和代码都可在所引用的 GitHub 仓库中获取以实现可重复性。