[论文解读] Interpretable Spatio-temporal Attention for Video Action Recognition

Lili Meng, Bo Zhao+5 more|arXiv (Cornell University)|Oct 1, 2018

Human Pose and Action Recognition参考文献 58被引用 9

一句话总结

本文提出了一种可解释的时空注意力机制，用于视频动作识别，通过显著性掩码和卷积LSTM，学习聚焦于判别性空间区域和关键时间帧，在仅使用动作标签（无边界框或帧级标注）的弱监督训练下，实现了最先进（SOTA）的准确率，同时能够准确地定位相关区域和帧。

ABSTRACT

Inspired by the observation that humans are able to process videos efficiently by only paying attention where and when it is needed, we propose an interpretable and easy plug-in spatial-temporal attention mechanism for video action recognition. For spatial attention, we learn a saliency mask to allow the model to focus on the most salient parts of the feature maps. For temporal attention, we employ a convolutional LSTM based attention mechanism to identify the most relevant frames from an input video. Further, we propose a set of regularizers to ensure that our attention mechanism attends to coherent regions in space and time. Our model not only improves video action recognition accuracy, but also localizes discriminative regions both spatially and temporally, despite being trained in a weakly-supervised manner with only classification labels (no bounding box labels or time frame temporal labels). We evaluate our approach on several public video action recognition datasets with ablation studies. Furthermore, we quantitatively and qualitatively evaluate our model's ability to localize discriminative regions spatially and critical frames temporally. Experimental results demonstrate the efficacy of our approach, showing superior or comparable accuracy with the state-of-the-art methods while increasing model interpretability.

研究动机与目标

• 开发一种弱监督视频动作识别模型，通过定位空间和时间上的判别性区域，实现可解释的注意力机制。
• 通过新颖的正则化方法，增强注意力图在空间和时间上的连贯性，从而提升模型性能和可解释性。
• 证明注意力机制可在无需边界框或时间标注监督的情况下，定位重要视觉区域和帧。
• 在保持可解释性的同时，实现与最先进方法相当或更优的准确率，用于视频理解。

提出的方法

• 基于可学习的显著性掩码，对帧级CNN特征应用空间注意力机制，以突出重要区域。
• 采用基于卷积LSTM的时空注意力模块，识别并加权视频序列中最相关的帧。
• 应用三种正则化方法——空间平滑性、空间稀疏性和时间一致性，以确保空间和时间上注意力的一致性和可解释性。
• 在空间和时间维度上集成软性、可微的注意力机制，支持仅使用视频级动作标签的端到端训练。
• 在将特征输入分类头之前，通过注意力权重进行特征衰减，使模型能够聚焦于显著的时空线索。
• 在时间定位评估中，对归一化的时间注意力权重采用阈值策略（0.5）。

实验结果

研究问题

• RQ1 弱监督视频动作识别模型能否在无边界框标注的情况下，定位判别性空间区域？
• RQ2 同一模型能否在无帧级时间标签的情况下，识别出对动作预测至关重要的时间帧？
• RQ3 空间和时间正则化如何提升注意力的一致性与模型性能？
• RQ4 所提出的注意力机制是否在提升模型可解释性的同时，实现了与SOTA方法相当或更优的准确率？

主要发现

• 在仅使用动作级标签的情况下，该模型在THUMOS14上的分类准确率从74.45%提升至78.33%，绝对提升3.88%。
• 在UCF101-24上，该方法在空间定位方面优于基线方法，尤其在较低IoU阈值下表现更优，尽管未使用真实边界框。
• 在THUMOS14的时间动作定位任务中，时间注意力机制达到了最先进性能，优于REINFORCE和UntrimmedNets在所有IoU阈值下的表现。
• 定性结果表明，注意力机制能成功定位关键动作部位（如骑车时的四肢）和多个参与者，即使真实标注仅限于单人情况。
• 该模型在弱监督设置下能有效定位判别性区域和帧，展现出强大的可解释性，且无需任何密集监督。
• 消融实验验证了所提正则化方法在提升注意力一致性和整体性能方面的有效性。