[論文レビュー] Choose Your Explanation: A Comparison of SHAP and GradCAM in Human Activity Recognition

Felix Tempel, Daniel Groos+3 more|arXiv (Cornell University)|Dec 20, 2024

Context-Aware Activity Recognition Systems被引用数 4

ひとこと要約

本研究では、実世界のデータセット（てんかん性てんかん症例を含む）を用いた骨格ベースのデータにおけるグラフ畳み込みネットワークを用いた人体活動認識（HAR）における、SHAPとGradCAMの説明可能AIの比較を行った。SHAPは臨床的信頼性に不可欠な詳細な特徴レベルの解釈性を提供するが、一方でGradCAMはリアルタイム用途に適した高速で空間的に局在化された説明を提供する。両手法は競合するのではなく、相補的であることが判明した。

ABSTRACT

Explaining machine learning (ML) models using eXplainable AI (XAI) techniques has become essential to make them more transparent and trustworthy. This is especially important in high-stakes domains like healthcare, where understanding model decisions is critical to ensure ethical, sound, and trustworthy outcome predictions. However, users are often confused about which explanability method to choose for their specific use case. We present a comparative analysis of widely used explainability methods, Shapley Additive Explanations (SHAP) and Gradient-weighted Class Activation Mapping (Grad-CAM), within the domain of human activity recognition (HAR) utilizing graph convolutional networks (GCNs). By evaluating these methods on skeleton-based data from two real-world datasets, including a healthcare-critical cerebral palsy (CP) case, this study provides vital insights into both approaches' strengths, limitations, and differences, offering a roadmap for selecting the most appropriate explanation method based on specific models and applications. We quantitatively and quantitatively compare these methods, focusing on feature importance ranking, interpretability, and model sensitivity through perturbation experiments. While SHAP provides detailed input feature attribution, Grad-CAM delivers faster, spatially oriented explanations, making both methods complementary depending on the application's requirements. Given the importance of XAI in enhancing trust and transparency in ML models, particularly in sensitive environments like healthcare, our research demonstrates how SHAP and Grad-CAM could complement each other to provide more interpretable and actionable model explanations.

研究の動機と目的

• グラフニューラルネットワークを用いた人体活動認識（HAR）におけるSHAPとGradCAMの間の体系的比較が不足しているという問題に取り組む。
• 実世界のデータセット（てんかん性てんかんデータセットを含む）におけるGCNベースのHARモデルの解釈性を評価し、SHAPとGradCAMの長所と短所を検証する。
• 解釈性の深さ、実行時間、空間的焦点といったアプリケーション固有のニーズに基づいて、説明可能手法を選択するための実用的ガイドラインを提供する。
• SHAPは『なぜ』（特徴の重要度）を説明するが、GradCAMは『どこに』（空間的注目）を説明するため、両手法は医療分野におけるモデルの透明性を高める上で相補的であることを示す。

提案手法

• 本研究では、NTU RGB+D 60と臨床的てんかん性てんかん（CP）データセットの2つの実世界データセットから得た骨格ベースの人体活動データを用いて訓練されたグラフ畳み込みネットワーク（GCNs）を採用した。
• SHAPは、シャープリー値を推定することで特徴レベルの帰属を計算し、入力キーポイントおよびその特徴ごとの個別的特徴重要度スコアを提供する。
• GradCAMは、勾配加重クラス活性化マップを用いて、モデルの予測に最も寄与する身体部位を強調する空間的ヒートマップを生成する。
• 入力特徴の変更が予測に与える影響を評価するため、摂動に基づく評価を実施し、モデルの感度と解釈可能性を測定した。
• 特徴重要度順序と視覚的解釈可能性および説明の空間的整合性を通じて、定量的（特徴順序の一貫性など）および定性的な両面から手法を比較した。
• 分析には定量的指標（例：特徴順序の一貫性）と、説明の明確さおよび臨床的妥当性の定性的評価が含まれる。

実験結果

リサーチクエスチョン

• RQ1 GCNベースのHARモデルにおいて、SHAPとGradCAMのどちらがより信頼性が高く解釈可能な特徴重要度順序を提供するか？
• RQ2 骨格ベースのHARデータに適用した場合、SHAPとGradCAMは空間局在化の正確性と計算効率においてどのように異なるか？
• RQ3 てんかん性てんかん診断のような臨床的HARデータにおいて、SHAPとGradCAMはどれほど意味のあるパターンを捉えられるか？
• RQ4 人体運動データにおける特徴の依存関係や相関関係は、SHAPの特徴帰属の信頼性にどのように影響を与えるか？
• RQ5 SHAPとGradCAMを併用することで、医療応用におけるGCN意思決定のより包括的な説明が可能になるか？

主な発見

• SHAPは、個々のキーポイントの寄与度を詳細に特定するため、責任の所在が重要な高リスクの臨床的意思決定に適している。
• GradCAMは高速で空間的に整合性のある説明を提供し、アクティブな身体領域を強調するため、リアルタイムアプリケーションや臨床的評価における視覚的フィードバックに最適である。
• SHAPの性能は、運動的に相関する人体運動データにおいて特徴の依存関係の影響を受ける。これは、デフォルトで独立性を仮定しているため、相関する入力では特徴重要度が希釈される可能性がある。
• GradCAMは、層間をまたがる複雑な特徴相互作用を捉える粒度には欠け、個別の特徴寄与度を説明できないため、深い診断的推論には制限がある。
• 両手法は相補的である：SHAPは『なぜ』（特徴の重要度）を定量的に説明するが、GradCAMは『どこに』（空間的注目）を可視化する。
• てんかん性てんかん予測のような臨床的HARタスクでは、SHAPの詳細な特徴レベルの説明が信頼性と透明性を高めるが、GradCAMはモデルの注目領域の迅速な視覚的検証を支援する。