[论文解读] Interaction-aware Spatio-temporal Pyramid Attention Networks for Action Classification
论文提出一种面向交互的PCA启发的自注意力，结合多尺度空间金字塔，扩展为视频动作分类的时空注意力，在流行数据集上实现了先进的结果。
Local features at neighboring spatial positions in feature maps have high correlation since their receptive fields are often overlapped. Self-attention usually uses the weighted sum (or other functions) with internal elements of each local feature to obtain its weight score, which ignores interactions among local features. To address this, we propose an effective interaction-aware self-attention model inspired by PCA to learn attention maps. Furthermore, since different layers in a deep network capture feature maps of different scales, we use these feature maps to construct a spatial pyramid and then utilize multi-scale information to obtain more accurate attention scores, which are used to weight the local features in all spatial positions of feature maps to calculate attention maps. Moreover, our spatial pyramid attention is unrestricted to the number of its input feature maps so it is easily extended to a spatio-temporal version. Finally, our model is embedded in general CNNs to form end-to-end attention networks for action classification. Experimental results show that our method achieves the state-of-the-art results on the UCF101, HMDB51 and untrimmed Charades.
研究动机与目标
- 通过捕捉CNN特征图中相邻局部特征之间的交互来提升动作识别的动机。
提出的方法
- 引入一种受PCA启发的面向交互的自注意力机制，以利用特征之间的交互。
- 从多个CNN层构建一个空间特征金字塔，以获得多尺度的注意力图。
- 在金字塔特征上进行逐通道自注意力，并使用融合函数计算注意力图。
- 将空间金字塔注意力扩展为时空版本，以处理多个视频帧。
- 结合交互和注意力损失，以正则化注意力并实现端到端的CNN训练。
实验结果
研究问题
- RQ1如何在自注意力中将局部CNN特征之间的交互融入动作识别？
- RQ2在多尺度特征图上的空间金字塔是否能为视频帧提供更准确的注意力分数？
- RQ3注意力机制能否扩展为适用于任意长度帧序列的时空形式？
- RQ4提出的损失和多尺度融合是否能在不同主干网络上提升动作分类性能？
主要发现
- 该方法在UCF101、HMDB51和未剪辑的Charades数据集上达到最先进的结果。
- 三尺度空间金字塔在单尺度注意力上有显著的性能提升。
- 逐元素相乘作为融合函数在候选方法中表现出色。
- 该方法在不同的CNN主干（VGGNet-16、BN-Inception、Inception-ResNet-V2）上显示出通用性。
- 时序扩展允许对K帧进行聚合，测试时帧数越多时有提升。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。