[论文解读] Discriminating Spatial and Temporal Relevance in Deep Taylor Decompositions for Explainable Activity Recognition

Liam Hiley, Alun Preece+3 more|ORCA Online Research @Cardiff (Cardiff University)|Aug 5, 2019

Explainable Artificial Intelligence (XAI)参考文献 15被引用 8

一句话总结

本文提出一种判别性方法，用于在视频动作识别的深度泰勒分解中分离空间与时间相关性，通过移除运动的输入来隔离与运动相关的显著性。通过从原始3D解释中减去空间解释，揭示了此前模糊的与运动相关区域，以极低的计算成本提升了UCF-101数据集上的可解释性。

ABSTRACT

Current techniques for explainable AI have been applied with some success to image processing. The recent rise of research in video processing has called for similar work n deconstructing and explaining spatio-temporal models. While many techniques are designed for 2D convolutional models, others are inherently applicable to any input domain. One such body of work, deep Taylor decomposition, propagates relevance from the model output distributively onto its input and thus is not restricted to image processing models. However, by exploiting a simple technique that removes motion information, we show that it is not the case that this technique is effective as-is for representing relevance in non-image tasks. We instead propose a discriminative method that produces a naïve representation of both the spatial and temporal relevance of a frame as two separate objects. This new discriminative relevance model exposes relevance in the frame attributed to motion, that was previously ambiguous in the original explanation. We observe the effectiveness of this technique on a range of samples from the UCF-101 action recognition dataset, two of which are demonstrated in this paper.

研究动机与目标

• 为了解决在3D视频输入上应用深度泰勒分解时，空间与时间相关性被混淆所带来的模糊性问题。
• 通过显式分离与运动相关相关性与空间特征，提升时空深度学习模型的可解释性。
• 证明在标准3D解释图中，由于空间边缘响应占主导，与运动相关的区域被遮蔽。
• 提供一种轻量化、计算效率高的方法，以提取并可视化视频模型中的运动特异性相关性。

提出的方法

• 该方法使用运动去除技术，通过平均视频片段中的帧来生成仅含空间信息的输入，从而有效去除时间动态。
• 对这种运动去除后的输入应用深度泰勒分解，生成仅反映空间贡献的空间相关性图。
• 随后从原始3D解释中减去空间相关性图，从而隔离出归因于运动的残差相关性。
• 该方法生成一种判别性相关性模型，可显式可视化与运动相关的区域，如移动的肢体或物体。
• 该方法利用深度泰勒分解对输入域的无偏特性，使其可应用于任意时空模型。
• 在UCF-101上对方法进行验证，对比多个视频样本的原始解释、仅空间解释与仅运动解释。

实验结果

研究问题

• RQ1 深度泰勒分解能否有效区分3D视频输入中的空间与时间相关性，还是其本质上存在混淆？
• RQ2 由于空间边缘响应占主导，视频片段中的运动信息在标准3D解释图中在多大程度上保持模糊？
• RQ3 如何通过一种简单、低成本的方法，从视频动作识别模型中分离出与运动相关的区域？
• RQ4 所提出的方法是否能揭示比标准深度泰勒解释更准确、更具可解释性的显著性模式？
• RQ5 空间与时间相关性的分离在基准数据集中的多样化视频动作上是否具有泛化能力？

主要发现

• 原始深度泰勒解释将空间与时间相关性混淆，将大多数边缘和纹理标记为相关，包括静态背景元素。
• 运动去除后的输入产生仅空间的解释，突出显示了草坪、墙壁和画面边缘等静态特征，证实了在标准解释中空间主导性。
• 从原始3D解释中减去空间解释后，成功隔离出与运动相关的区域，如移动的身体和四肢，这些区域此前被遮蔽。
• 在引体向上视频中，运动相关性在动作的最高点和最低点达到峰值，对应于运动的快速变化。
• 在网球发球视频中，运动相关性在挥动的手臂和球上保持一致分布，表明具有细粒度的运动显著性。
• 该方法揭示，当未显式分离运动时，模型的预测可能被空间特征误导，如仅基于帧的预测会错误地转向不同动作。