[논문 리뷰] Choose Your Explanation: A Comparison of SHAP and GradCAM in Human Activity Recognition

Felix Tempel, Daniel Groos외 3명|arXiv (Cornell University)|2024. 12. 20.

Context-Aware Activity Recognition Systems인용 수 4

한 줄 요약

이 연구는 실생활 데이터셋(뇌성마비 환자 포함)에서 골격 기반 데이터를 사용한 그래프 컨volution 네트워크(GCN)를 활용한 인간 활동 인식(HAR)에서 SHAP와 GradCAM을 비교한다. SHAP는 임상적 신뢰성에 적합한 세부적인 기능 수준의 해석 가능성을 제공하는 반면, GradCAM은 실시간 활용에 적합한 빠르고 공간적으로 국소화된 설명을 제공한다. 두 방법은 상호 보완적이며 경쟁 관계가 아니다.

ABSTRACT

Explaining machine learning (ML) models using eXplainable AI (XAI) techniques has become essential to make them more transparent and trustworthy. This is especially important in high-stakes domains like healthcare, where understanding model decisions is critical to ensure ethical, sound, and trustworthy outcome predictions. However, users are often confused about which explanability method to choose for their specific use case. We present a comparative analysis of widely used explainability methods, Shapley Additive Explanations (SHAP) and Gradient-weighted Class Activation Mapping (Grad-CAM), within the domain of human activity recognition (HAR) utilizing graph convolutional networks (GCNs). By evaluating these methods on skeleton-based data from two real-world datasets, including a healthcare-critical cerebral palsy (CP) case, this study provides vital insights into both approaches' strengths, limitations, and differences, offering a roadmap for selecting the most appropriate explanation method based on specific models and applications. We quantitatively and quantitatively compare these methods, focusing on feature importance ranking, interpretability, and model sensitivity through perturbation experiments. While SHAP provides detailed input feature attribution, Grad-CAM delivers faster, spatially oriented explanations, making both methods complementary depending on the application's requirements. Given the importance of XAI in enhancing trust and transparency in ML models, particularly in sensitive environments like healthcare, our research demonstrates how SHAP and Grad-CAM could complement each other to provide more interpretable and actionable model explanations.

연구 동기 및 목표

• 그래프 신경망을 사용한 인간 활동 인식(HAR)에서 SHAP와 GradCAM 간 체계적인 비교가 부족한 문제를 해결하기 위해.
• 실생활 데이터셋(뇌성마비 임상 데이터셋 포함)에서 GCN 기반 HAR 모델에 대한 SHAP와 GradCAM의 강점과 한계를 평가하기 위해.
• 해석 가능성의 깊이, 런타임, 공간적 집중도와 같은 애플리케이션 특화 요구사항에 따라 설명 가능성 방법을 선택하는 데 실용적인 지침을 제공하기 위해.
• SHAP는 '왜'를 설명(기능 중요도)하고, GradCAM은 '어디서'를 설명(공간적 주의)하므로 두 방법이 상호 보완적이며, 의료 분야에서 모델의 투명성을 향상시킨다.

제안 방법

• 연구는 NTU RGB+D 60 및 임상적 뇌성마비(CP) 데이터셋을 포함한 두 개의 실생활 데이터셋에서 얻은 골격 기반 인간 활동 데이터를 기반으로 훈련된 그래프 컨volution 네트워크(GCN)를 사용한다.
• SHAP는 기능 수준의 기여도를 계산하기 위해 셰플리 값(Shapley values)을 추정하여 입력 키포인트와 그 기능에 대한 개별 기능 중요도 점수를 제공한다.
• GradCAM은 기울기 가중 클래스 활성화 맵을 사용하여 모델 예측에 가장 영향을 미치는 신체 부위를 강조하는 공간 히트맵을 생성한다.
• 모델의 민감도와 해석 가능성 평가를 위해 펌터베이션 기반 평가를 실시하여 입력 기능의 변화가 예측에 미치는 영향을 측정한다.
• 기능 중요도 순서와 시각적 해석 가능성 및 설명의 공간 일관성에 따라 양방향으로 비교한다.
• 분석에는 정량적 지표(예: 기능 순서 일관성)와 설명의 명확성 및 임상적 관련성에 대한 정성적 평가가 포함된다.

실험 결과

연구 질문

• RQ1 GCN 기반 HAR 모델에서 SHAP와 GradCAM 중 어느 설명 가능성 방법이 더 신뢰할 수 있고 해석 가능한 기능 중요도 순서를 제공하는가?
• RQ2 골격 기반 HAR 데이터에 적용했을 때 SHAP와 GradCAM는 공간 국소화 정확도와 계산 효율성 측면에서 어떻게 다를까?
• RQ3 뇌성마비 진단과 같은 임상적 HAR 데이터에서 SHAP와 GradCAM는 얼마나 의미 있는 패턴을 포착하는가?
• RQ4 인간 운동 데이터의 기능 상관관계와 의존성은 SHAP의 기능 기여도 신뢰성에 어떤 영향을 미치는가?
• RQ5 SHAP와 GradCAM를 함께 사용하여 의료 응용 분야에서 GCN 결정에 대해 더 포괄적인 설명을 제공할 수 있는가?

주요 결과

• SHAP는 개별 키포인트의 기여도를 이해하는 데 필수적인 세부적인 기능 수준 기여도를 제공하므로, 책임 소재가 중요한 고위험 임상 결정에 적합하다.
• GradCAM는 더 빠르고 공간적으로 일관된 설명을 제공하여 활성화된 신체 부위를 강조하므로 실시간 응용이나 임상 평가에서의 시각적 피드백에 이상적이다.
• SHAP는 운동학적으로 상관관계가 있는 인간 운동 데이터에서 기능 의존성으로 인해 성능에 영향을 받는다. 이는 기본적으로 독립성 가정을 내포하고 있기 때문에 관련 입력에서 기능 중요도가 약화될 수 있다.
• GradCAM는 레이어 간 복잡한 기능 상호작용을 포착하는 데 빈도가 낮고 개별 기능 기여도를 설명할 수 없어 깊은 진단적 추론에 활용하기에 제한이 있다.
• 두 방법은 상호 보완적이다: SHAP는 모델이 결정을 내리는 이유를 기능 중요도를 정량화함으로써 설명하고, GradCAM는 신체의 공간적 주의를 국소화함으로써 '어디서'를 설명한다.
• 뇌성마비 예측과 같은 임상적 HAR 작업에서는 SHAP의 세부적인 기능 수준 설명이 신뢰도와 투명성을 향상시키지만, GradCAM는 모델의 초점 영역을 신속하게 시각적으로 검증하는 데 기여한다.