[论文解读] A Comprehensive Study on Visual Explanations for Spatio-temporal Networks.

Zhenqiang Li, Weimin Wang+3 more|arXiv (Cornell University)|May 1, 2020

Multimodal Machine Learning Applications参考文献 34被引用 4

一句话总结

本文对处理视频输入的时空神经网络中的基于梯度和基于扰动的归因方法进行了全面评估。它将一种2D扰动方法扩展至3D视频数据，引入了互补的客观度量指标，并揭示了归因方法在客观与主观评估标准下表现出相反的性能趋势。

ABSTRACT

Identifying and visualizing regions that are significant for a given deep neural network model, i.e., attribution methods, is still a vital but challenging task, especially for spatio-temporal networks that process videos as input. Albeit some methods that have been proposed for video attribution, it is yet to be studied what types of network structures each video attribution method is suitable for. In this paper, we provide a comprehensive study of the existing video attribution methods of two categories, gradient-based and perturbation-based, for visual explanation of neural networks that take videos as the input (spatio-temporal networks). To perform this study, we extended a perturbation-based attribution method from 2D (images) to 3D (videos) and validated its effectiveness by mathematical analysis and experiments. For a more comprehensive analysis of existing video attribution methods, we introduce objective metrics that are complementary to existing subjective ones. Our experimental results indicate that attribution methods tend to show opposite performances on objective and subjective metrics.

研究动机与目标

• 调查现有的视频归因方法——基于梯度和基于扰动的方法——在不同时空网络架构中的适用性。
• 通过数学和实证验证，将一种2D基于扰动的归因方法扩展至3D视频数据。
• 引入客观评估度量指标，以补充现有视频归因中的主观评估。
• 分析视频解释任务中归因方法在客观与主观性能之间的差异。

提出的方法

• 通过将显著性计算适配至视频张量（时空体）的方式，将2D基于扰动的归因方法扩展至3D。
• 通过在空间和时间维度上采用掩码策略，形式化了3D扰动方法，以识别影响显著的视频片段。
• 提出了基于模型鲁棒性和特征敏感性的新客观度量指标，以独立于人类判断量化归因质量。
• 在多个视频分类模型上开展了受控实验，同时在客观和主观评估下比较不同归因方法。
• 通过数学分析验证了扩展后的3D扰动方法在理论上的自洽性。
• 结合定性可视化与定量度量，评估归因的保真度与稳定性。

实验结果

研究问题

• RQ1 哪些类型的时空网络架构最适合基于梯度的归因方法，而哪些又最适合基于扰动的归因方法？
• RQ2 如何在保持可解释性和准确性的同时，有效将2D基于扰动的归因方法扩展至3D视频数据？
• RQ3 客观度量指标与人类对视频归因质量的主观评价之间相关性有多大？
• RQ4 归因方法在客观与主观评估标准下是否表现出一致的性能？

主要发现

• 扩展后的3D基于扰动的归因方法在多种视频数据集上均表现出一致且稳定的归因图，经由数学分析与实证结果验证。
• 客观度量指标显示，尽管某些归因方法在人类标注者中获得了较高的主观评分，但其实际表现却较差。
• 观察到显著的性能分歧：在主观评估中得分高的方法往往在客观度量中表现不佳，反之亦然。
• 本研究证实，仅依赖主观评估可能导致对归因方法质量的误导性结论。
• 所提出的客观度量指标有效捕捉了模型的敏感性与鲁棒性，为归因评估提供了一种可靠的、不依赖人类判断的替代方案。
• 基于梯度的方法在长时序推理任务中对输入扰动表现出比基于扰动的方法更高的敏感性。