[论文解读] Choose Your Explanation: A Comparison of SHAP and GradCAM in Human Activity Recognition

Felix Tempel, Daniel Groos+3 more|arXiv (Cornell University)|Dec 20, 2024

Context-Aware Activity Recognition Systems被引用 4

一句话总结

本研究对比了SHAP与GradCAM在基于骨架数据的真实世界数据集（包括脑性瘫痪病例）上，使用图卷积网络进行可解释人工智能在人体活动识别中的应用。研究发现，SHAP能提供详细的、基于特征的可解释性，有利于临床可信度；而GradCAM则能快速生成空间定位的解释，适用于实时应用。两种方法互补而非相互竞争。

ABSTRACT

Explaining machine learning (ML) models using eXplainable AI (XAI) techniques has become essential to make them more transparent and trustworthy. This is especially important in high-stakes domains like healthcare, where understanding model decisions is critical to ensure ethical, sound, and trustworthy outcome predictions. However, users are often confused about which explanability method to choose for their specific use case. We present a comparative analysis of widely used explainability methods, Shapley Additive Explanations (SHAP) and Gradient-weighted Class Activation Mapping (Grad-CAM), within the domain of human activity recognition (HAR) utilizing graph convolutional networks (GCNs). By evaluating these methods on skeleton-based data from two real-world datasets, including a healthcare-critical cerebral palsy (CP) case, this study provides vital insights into both approaches' strengths, limitations, and differences, offering a roadmap for selecting the most appropriate explanation method based on specific models and applications. We quantitatively and quantitatively compare these methods, focusing on feature importance ranking, interpretability, and model sensitivity through perturbation experiments. While SHAP provides detailed input feature attribution, Grad-CAM delivers faster, spatially oriented explanations, making both methods complementary depending on the application's requirements. Given the importance of XAI in enhancing trust and transparency in ML models, particularly in sensitive environments like healthcare, our research demonstrates how SHAP and Grad-CAM could complement each other to provide more interpretable and actionable model explanations.

研究动机与目标

• 为解决在使用图神经网络进行人体活动识别（HAR）时，SHAP与GradCAM之间缺乏系统性比较的问题。
• 评估SHAP与GradCAM在解释基于GCN的HAR模型方面于真实世界数据集（包括临床脑性瘫痪数据集）中的优势与局限性。
• 根据应用需求（如可解释性深度、运行时长、空间聚焦）提供选择可解释性方法的实际指导。
• 证明SHAP与GradCAM具有互补性——SHAP解释‘为何’（特征重要性），GradCAM解释‘何处’（空间注意力），从而提升医疗应用中模型的透明度。

提出的方法

• 本研究采用图卷积网络（GCNs）对来自两个真实世界数据集的基于骨架的人体活动数据进行训练：NTU RGB+D 60 和一个临床脑性瘫痪（CP）数据集。
• 应用SHAP通过估计Shapley值计算特征级归因，提供输入关键点及其特征的逐特征重要性评分。
• 通过梯度加权类激活映射实现GradCAM，生成突出模型预测中最具影响力的肢体部位的空间热力图。
• 采用扰动评估方法，衡量模型对输入特征变化的敏感性与可解释性，分析输入特征变化对预测的影响。
• 通过特征重要性排序的定量比较与解释的视觉可解释性及空间一致性进行定性比较。
• 分析包括定量指标（如特征排序一致性）与解释清晰度及临床相关性的定性评估。

实验结果

研究问题

• RQ1 在基于GCN的HAR模型中，SHAP与GradCAM哪一种方法能提供更可靠、更具可解释性的特征重要性排序？
• RQ2 在基于骨架的HAR数据上，SHAP与GradCAM在空间定位精度与计算效率方面有何差异？
• RQ3 SHAP与GradCAM在捕捉临床HAR数据（如脑性瘫痪诊断）中的有意义模式方面，其有效程度如何？
• RQ4 人体运动数据中的特征依赖关系与相关性如何影响SHAP特征归因的可靠性？
• RQ5 SHAP与GradCAM能否协同使用，以提供对医疗应用中GCN决策更全面的解释？

主要发现

• SHAP提供详细的逐特征归因，对理解单个关键点的贡献至关重要，因此适用于对问责制要求极高的临床决策。
• GradCAM提供快速且空间一致的解释，可突出显示活跃的身体区域，适用于实时应用或临床评估中的视觉反馈。
• 由于SHAP默认假设特征独立，其性能在运动学相关的特征依赖数据中受到影响，可能导致相关输入中特征重要性被稀释。
• GradCAM在捕捉跨层复杂特征交互方面缺乏粒度，且无法解释单个特征的贡献，限制了其在深度诊断推理中的应用。
• 两种方法具有互补性：SHAP通过量化特征重要性解释‘为何’模型做出决策，而GradCAM通过定位身体上的空间注意力解释‘何处’。
• 在脑性瘫痪预测等临床HAR任务中，SHAP的详细特征级解释增强了信任与透明度，而GradCAM支持对模型关注区域的快速视觉验证。