[论文解读] Explainable Deep Learning for Video Recognition Tasks: A Framework & Recommendations.

Liam Hiley, Alun Preece+1 more|arXiv (Cornell University)|Sep 7, 2019

Explainable Artificial Intelligence (XAI)参考文献 53被引用 7

一句话总结

本文提出了一种针对视频识别模型的原生可解释性方法框架，强调需要考虑运动和时间动态的时空解释技术。它主张采用轻量化、支持实时处理的方法，并考虑用户上下文，超越像Grad-CAM和Grad-CAM++这类仅适用于图像的可解释性方法，后者无法捕捉视频特有的动态特性。

ABSTRACT

The popularity of Deep Learning for real-world applications is ever-growing. With the introduction of high performance hardware, applications are no longer limited to image recognition. With the introduction of more complex problems comes more and more complex solutions, and the increasing need for explainable AI. Deep Neural Networks for Video tasks are amongst the most complex models, with at least twice the parameters of their Image counterparts. However, explanations for these models are often ill-adapted to the video domain. The current work in explainability for video models is still overshadowed by Image techniques, while Video Deep Learning itself is quickly gaining on methods for still images. This paper seeks to highlight the need for explainability methods designed with video deep learning models, and by association spatio-temporal input in mind, by first illustrating the cutting edge for video deep learning, and then noting the scarcity of research into explanations for these methods.

研究动机与目标

• 解决尽管视频深度学习模型的复杂性日益增加，但缺乏针对视频的可解释性方法的问题。
• 指出当前的可解释性技术多源自图像识别，不适用于视频的时空特性。
• 提出一个框架，以指导未来研究开发尊重时间动态和模型复杂性的原生视频可解释性方法。
• 强调需要轻量化、支持实时部署的可解释性方法，适用于监控等应用场景。
• 强调在可解释性系统中采用以用户为中心的设计，考虑用户的专业知识和解释请求的动机。

提出的方法

• 提出从适配图像可解释性方法（如Grad-CAM、Deep Taylor）转向为视频输入和时空特征量身定制原生可解释性方法的转变。
• 倡导整合空间和时间显著性的解释方法，避免破坏时间连贯性的逐帧分解。
• 建议以光流场作为时间解释的基础，因为其在视频模型中已用于运动建模。
• 提出统一视觉解释的概念，将空间和时间相关性整合在一个单一、可解释的图像中。
• 建议在设计可解释性系统时考虑用户角色和使用场景，确保非专业用户也能理解并保持解释的忠实性。
• 强调计算效率，以支持在监控等应用中实现实时部署。

实验结果

研究问题

• RQ1 为何现有的图像识别可解释性方法在视频识别模型中表现不佳？
• RQ2 如何设计可解释性方法以保留视频数据固有的时空结构？
• RQ3 运动在模型决策中扮演什么角色，如何在解释中捕捉这一因素？
• RQ4 如何使解释轻量化并适用于视频应用中的实时部署？
• RQ5 如何根据用户背景和动机对视频AI系统中的解释进行定制？

主要发现

• 当前用于视频模型的可解释性方法大多源自基于图像的技术（如Grad-CAM和Deep Taylor），这些方法未能考虑时间动态，常导致视觉化结果杂乱或具有误导性。
• 对视频解释进行逐帧分解会损失时间序列的理解，从而削弱模型实际决策过程的可解释性。
• 迫切需要原生的视频可解释性方法，能够以统一、可解释的格式整合空间和时间显著性。
• 光流场为时间解释提供了有前景的基础，因为其本身已编码运动信息，并在许多视频模型中被使用。
• 可解释性必须具备计算高效性，以支持在监控等应用中的实时部署。
• 在可解释性设计中必须考虑用户背景（如专业知识和目的），以确保清晰性和可用性，尤其对非技术利益相关者而言。