[论文解读] Explaining Deep Learning Models for Structured Data using Layer-Wise Relevance Propagation

Ihsan Ullah, André Ríos+2 more|arXiv (Cornell University)|Nov 26, 2020

Explainable Artificial Intelligence (XAI)参考文献 39被引用 8

一句话总结

本文首次将逐层相关性传播（LRP）应用于使用一维卷积神经网络（1D-CNN）进行信用卡欺诈检测和电信客户流失预测的结构化表格数据。LRP在解释质量和速度方面优于LIME和SHAP（1–2秒 vs. 22秒和108秒），提供人类可读、直观的特征归因，同时实现实时可解释性，并为可解释人工智能（XAI）驱动的特征选择开辟了新途径。

ABSTRACT

Trust and credibility in machine learning models is bolstered by the ability of a model to explain itsdecisions. While explainability of deep learning models is a well-known challenge, a further chal-lenge is clarity of the explanation itself, which must be interpreted by downstream users. Layer-wiseRelevance Propagation (LRP), an established explainability technique developed for deep models incomputer vision, provides intuitive human-readable heat maps of input images. We present the novelapplication of LRP for the first time with structured datasets using a deep neural network (1D-CNN),for Credit Card Fraud detection and Telecom Customer Churn prediction datasets. We show how LRPis more effective than traditional explainability concepts of Local Interpretable Model-agnostic Ex-planations (LIME) and Shapley Additive Explanations (SHAP) for explainability. This effectivenessis both local to a sample level and holistic over the whole testing set. We also discuss the significantcomputational time advantage of LRP (1-2s) over LIME (22s) and SHAP (108s), and thus its poten-tial for real time application scenarios. In addition, our validation of LRP has highlighted features forenhancing model performance, thus opening up a new area of research of using XAI as an approachfor feature subset selection

研究动机与目标

• 为解决在结构化表格数据上解释深度学习模型的挑战，其中可解释性对于建立信任和辅助决策至关重要。
• 评估逐层相关性传播（LRP）作为结构化数据解释方法的有效性，扩展其在计算机视觉领域已取得的成功。
• 从解释质量、计算效率和可用性角度，对比LRP与LIME和SHAP等成熟方法的性能表现。
• 探索LRP作为特征子集选择工具的潜力，通过相关性分数识别关键输入特征。
• 展示利用LRP的低推理时间，实现在生产环境中实时可解释性的可行性。

提出的方法

• 将LRP应用于在结构化表格数据集（如信用卡欺诈和电信客户流失）上训练的一维卷积神经网络（1D-CNN）模型。
• 利用LRP的反向传播机制，将最终预测得分逐层回传至网络，为输入特征分配相关性分数。
• 生成类特定、人类可读的热力图，突出显示对模型预测贡献最大的输入特征。
• 通过定性和定量指标，在单个样本和整个测试集上对LRP的解释结果与LIME和SHAP进行验证。
• 通过比较推理时间衡量计算效率：LRP（1–2秒）、LIME（22秒）、SHAP（108秒）。
• 分析数据集中相关性分数的分布，识别出始终重要的特征，提示其在特征选择中的潜在用途。

实验结果

研究问题

• RQ1 LRP能否有效应用于结构化表格数据，从而扩展其在计算机视觉领域已取得的成功？
• RQ2 在局部（样本级）和全局（数据集级）两个尺度上，LRP的解释质量与LIME和SHAP相比如何？
• RQ3 与LIME和SHAP相比，LRP的计算效率如何？是否能够支持实时部署？
• RQ4 LRP的相关性分数能否用于识别并选择对模型性能最具信息量的特征？
• RQ5 与LIME和SHAP相比，LRP是否能为非图像结构化数据提供更具直观性和可解释性的解释？

主要发现

• LRP生成的解释比LIME和SHAP更具直观性与人类可读性，尤其在局部和全局分析中均能有效突出关键输入特征。
• LRP的单样本解释时间仅为1–2秒，显著快于LIME（22秒）和SHAP（108秒），支持实时部署。
• LRP的相关性分数在数据集中揭示了稳定且高影响力的特征，提示其在可解释人工智能（XAI）驱动的特征子集选择中的潜力。
• LRP在整组测试集上展现出更优的整体解释质量，优于LIME和SHAP，能够更准确捕捉全局特征重要性模式。
• 本研究验证了LRP在结构化数据上的鲁棒性与可解释性，标志着在表格数据领域实现可信深度学习的重要一步。
• 结果表明，LRP不仅在解释方面有效，更是一种极具前景的模型诊断与特征工程工具。