[论文解读] Joint Network based Attention for Action Recognition

Yemin Shi, Yonghong Tian+2 more|arXiv (Cornell University)|Nov 16, 2016

Human Pose and Action Recognition参考文献 4被引用 4

一句话总结

该论文提出了一种联合网络注意力（JNA）模型，通过在训练过程中引入受约束的、经由softmax门控的连接，实现双流ConvNets之间的跨流信息共享，同时引入时间注意力机制以识别关键帧。该方法在HMDB51和UCF101数据集上分别比基线双流模型提升了8.5%和1%的准确率，达到当前最优性能。

ABSTRACT

By extracting spatial and temporal characteristics in one network, the two-stream ConvNets can achieve the state-of-the-art performance in action recognition. However, such a framework typically suffers from the separately processing of spatial and temporal information between the two standalone streams and is hard to capture long-term temporal dependence of an action. More importantly, it is incapable of finding the salient portions of an action, say, the frames that are the most discriminative to identify the action. To address these problems, a extbf{j}oint extbf{n}etwork based extbf{a}ttention (JNA) is proposed in this study. We find that the fully-connected fusion, branch selection and spatial attention mechanism are totally infeasible for action recognition. Thus in our joint network, the spatial and temporal branches share some information during the training stage. We also introduce an attention mechanism on the temporal domain to capture the long-term dependence meanwhile finding the salient portions. Extensive experiments are conducted on two benchmark datasets, UCF101 and HMDB51. Experimental results show that our method can improve the action recognition performance significantly and achieves the state-of-the-art results on both datasets.

研究动机与目标

• 为解决双流ConvNets在捕捉长期时间依赖关系以及识别视频中判别性帧方面的局限性。
• 克服联合训练过程中‘单流主导’的问题，即空间流在训练中压倒时间流。
• 开发一种机制，实现在不导致过拟合或性能下降的前提下，空间与时间分支之间的有效信息交换。
• 引入时间注意力机制，突出最具有信息量的帧以提升动作识别性能。
• 通过联合训练与基于注意力的帧选择相结合，实现在基准数据集上的当前最优性能。

提出的方法

• JNA模型采用联合网络结构，通过在训练期间使用softmax门控连接，使空间流与时间流实现信息共享，仅允许关键特征通过。
• 利用GRU对时间注意力机制进行建模，以捕捉长期依赖关系，并为序列中的显著帧分配更高权重。
• 注意力权重在softmax层之前计算，使网络能够学习哪些帧对动作分类最具判别性。
• 该方法避免了全连接融合、分支选择和空间注意力机制，这些方法在消融实验中被证明不可行。
• 网络采用端到端训练，使用交叉熵损失函数，最终预测通过融合来自两个流的注意力加权特征生成。
• 还提出了一种变形版本的JNA，以提升对运动变化的鲁棒性，其时间流使用光流输入。

实验结果

研究问题

• RQ1 是否可以通过在空间流与时间流之间引入门控信息流的联合网络结构，使动作识别性能超越标准双流模型？
• RQ2 引入时间注意力机制是否能增强长期时间建模能力，并有助于识别视频中最具判别性的帧？
• RQ3 为何全连接融合、分支选择与空间注意力机制在动作识别背景下失效？其缺陷如何得以解决？
• RQ4 与现有最先进方法相比，所提出的JNA模型在HMDB51和UCF101等挑战性基准数据集上的性能提升程度如何？
• RQ5 JNA中的注意力机制如何体现网络过滤无关帧并聚焦于与动作相关的关键片段的能力？

主要发现

• JNA在HMDB51上达到66.9%的top-1准确率，在UCF101上达到91.2%，分别比基线双流模型高出8.5%和1%。
• 该方法在HMDB51上的性能提升显著，因较长的视频序列更受益于关键帧的识别，而UCF101的视频较短，收益相对较小。
• JNA优于其他基于注意力的方法，包括多分支注意力（HMDB51上为61.7%）和软注意力（41.3%），证明了其有效性。
• 注意力权重的可视化显示，JNA为后期帧分配更高的权重，与GRU的记忆能力一致，证实其学习长期依赖关系的能力。
• 可视化中圈出的负向注意力权重表明，JNA能够检测动作的起始时刻，并过滤掉无关的初始帧。
• 变形JNA变体在HMDB51上达到66.3%、UCF101上达到90.0%，与标准JNA结合后，HMDB51准确率达到68.8%，UCF101达到91.5%，表明数据增强可进一步提升性能。