[论文解读] A spatiotemporal model with visual attention for video classification

Mo Shan, Nikolay Atanasov|arXiv (Cornell University)|Jul 7, 2017

Video Surveillance and Tracking Methods参考文献 11被引用 4

一句话总结

该论文提出了一种时空视频分类模型，将视觉注意力机制——具体为可变形卷积网络（DCN）和空间变压器网络（STN）——整合进CNN-LSTM架构中，以提升对物体旋转和尺度变化的鲁棒性。DCN-LSTM在含旋转、缩放和弹性形变的增强版Moving MNIST数据集上实现了超过99%的准确率，优于LeNet-LSTM和STN-LSTM，证明了局部可学习特征形变相较于全局几何变换更具优势。

ABSTRACT

High level understanding of sequential visual input is important for safe and stable autonomy, especially in localization and object detection. While traditional object classification and tracking approaches are specifically designed to handle variations in rotation and scale, current state-of-the-art approaches based on deep learning achieve better performance. This paper focuses on developing a spatiotemporal model to handle videos containing moving objects with rotation and scale changes. Built on models that combine Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs) to classify sequential data, this work investigates the effectiveness of incorporating attention modules in the CNN stage for video classification. The superiority of the proposed spatiotemporal model is demonstrated on the Moving MNIST dataset augmented with rotation and scaling.

研究动机与目标

• 提升在真实世界自主系统中常见的旋转和尺度变化等几何变换下的视频分类鲁棒性。
• 探究视觉注意力机制是否能在时空建模中超越标准CNN-RNN架构，提升视频分类性能。
• 比较不同注意力模块（STN与DCN）在处理序列视频数据中物体形变时的有效性。
• 通过弹性形变增强，评估模型在关节运动物体（如手部动作）上的泛化能力。
• 证明该模型可扩展至涉及动态、可变尺寸和旋转物体的真实机器人感知任务。

提出的方法

• 模型结合CNN主干网络与LSTM进行时间建模，用视觉注意力模块替代最大池化层，以提升几何不变性。
• 评估三种变体：基线LeNet-LSTM、使用定位网络预测全局仿射变换的STN-LSTM，以及通过可学习偏移量实现局部卷积核形变的DCN-LSTM。
• STN模块使用定位网络估计仿射参数，随后通过网格生成器和双线性采样器应用空间变换。
• DCN模块在标准卷积核采样网格中引入可学习偏移量，实现自适应、空间可变的感受野。
• 网络在增强版Moving MNIST数据集上端到端训练，包含旋转、缩放和弹性形变，以模拟真实运动和手部震颤。
• 进行定性分析以可视化注意力输出并诊断失败模式，特别是全局STN无法关注多个独立运动物体的问题。

实验结果

研究问题

• RQ1 与标准CNN-RNN模型相比，视觉注意力机制是否能提升在物体旋转和尺度变化下的视频分类性能？
• RQ2 在处理视频数据中的几何变换时，不同注意力机制（STN，全局；DCN，局部）的性能如何比较？
• RQ3 注意力模块的集成是否能提升在复杂形变（如手写数字手势）等挑战性数据上的泛化能力？
• RQ4 尽管STN具备归一化空间配置的能力，为何STN-LSTM在多物体场景下表现欠佳？
• RQ5 所提出的模型能否扩展用于识别自然运动中的关节或形变物体（如手部）？

主要发现

• 在含弹性形变的手写数字手势识别任务中，DCN-LSTM达到99.30%的准确率，显著优于LeNet-LSTM（97.19%）和STN-LSTM（97.19%）。
• 在增强版Moving MNIST数据集上，DCN-LSTM在所有变换类型（包括旋转、缩放和组合变换）下均保持99%以上的准确率。
• STN-LSTM在缩放图像上表现较差，且因全局变换机制在多物体场景下表现不佳，成为所有模型中准确率最低者。
• LeNet-LSTM在所有增强条件下表现稳定但准确率较低，表明最大池化对大规模变化的鲁棒性有限。
• 定性分析显示，STN的全局变换会扭曲物体间关系——例如当数字相距较远时会整体缩小——从而降低分类准确率。
• 结果表明，局部可学习形变（DCN）在建模视频序列中复杂多变的几何变化方面，优于全局刚性变换（STN）。