[论文解读] Explaining Motion Relevance for Activity Recognition in Video Deep Learning Models

Liam Hiley, Alun Preece+4 more|arXiv (Cornell University)|Mar 31, 2020

Explainable Artificial Intelligence (XAI)被引用 14

一句话总结

本文提出一种后处理方法——选择性相关性（selective relevance），用于在基于3D CNN的视频行为识别模型中隔离并增强与运动相关的解释。通过从标准2D显著性图中过滤掉空间主导的、与运动无关的区域，该方法提升了解释的针对性，并使模型可解释性与人类对运动的感知保持一致，揭示出3D CNN在分类决策中严重偏向空间上下文而非运动信息。

ABSTRACT

A small subset of explainability techniques developed initially for image recognition models has recently been applied for interpretability of 3D Convolutional Neural Network models in activity recognition tasks. Much like the models themselves, the techniques require little or no modification to be compatible with 3D inputs. However, these explanation techniques regard spatial and temporal information jointly. Therefore, using such explanation techniques, a user cannot explicitly distinguish the role of motion in a 3D model's decision. In fact, it has been shown that these models do not appropriately factor motion information into their decision. We propose a selective relevance method for adapting the 2D explanation techniques to provide motion-specific explanations, better aligning them with the human understanding of motion as conceptually separate from static spatial features. We demonstrate the utility of our method in conjunction with several widely-used 2D explanation methods, and show that it improves explanation selectivity for motion. Our results show that the selective relevance method can not only provide insight on the role played by motion in the model's decision -- in effect, revealing and quantifying the model's spatial bias -- but the method also simplifies the resulting explanations for human consumption.

研究动机与目标

• 解决3D CNN在视频行为识别中缺乏运动特异性可解释性的问题。
• 通过在解释图中分离时间（运动）与空间（上下文）相关性，提升人类对模型决策的理解。
• 在不修改模型架构的前提下，量化3D CNN中空间偏差的程度。
• 提供一种轻量级、后处理的可解释方法，以增强现有2D解释技术在3D视频模型中的表现。
• 通过简化的、聚焦于运动的解释，实现实时模型行为调试与分析。

提出的方法

• 通过将2D显著性方法（如GradCAM、Guided Backpropagation）应用于时空特征图，将其适配至3D视频输入。
• 基于光流实施运动敏感的阈值处理，以识别并仅保留显著性图中的运动相关区域。
• 利用光流作为运动的代理，计算运动掩码以隔离帧间的时间变化。
• 通过将原始显著性图与运动掩码相乘，实现选择性相关性，从而丢弃空间主导的、非运动特征。
• 采用数据驱动的阈值（如两倍标准差）控制选择性，平衡显著性保留与噪声抑制。
• 在多种基线解释技术上验证该方法，以评估其在运动表征上的一致性与改进程度。

实验结果

研究问题

• RQ1 标准2D解释方法在3D CNN中在多大程度上无法区分运动与空间上下文？
• RQ2 后处理过滤方法能否有效隔离3D CNN解释中的运动相关区域？
• RQ3 选择性相关性如何提升时间性视频任务中模型解释的可解释性与选择性？
• RQ4 通过选择性相关性揭示的3D CNN在行为识别中存在多大程度的空间偏差？
• RQ5 选择性相关性是否增强了不同解释方法与人类对运动感知之间的一致性？

主要发现

• 选择性相关性在所有测试的基线方法中均一致地提升了解释中的运动表征，减少了无关的空间杂波。
• 该方法揭示出3D CNN模型在分类决策中显著偏向上下文（空间）特征，运动在其中仅起次要作用。
• DTD（Deep Taylor Decomposition）从选择性相关性中获益最多，其精度达到与GradCAM和Guided GradCAM相当的水平，并表现出最大的上下文噪声减少。
• GradCAM与Guided GradCAM的解释也得到简化，但常因过度去除显著性而产生稀疏或无信息的图。
• 选择性相关性方法计算开销极低，适用于实时模型调试与分析。
• 基线解释方法在显著性分布上的一致性较低，但选择性相关性显著提升了方法间的一致性，并使解释更符合运动感知。