[论文解读] Hierarchical Multi-scale Attention Networks for Action Recognition

Shiyang Yan, Jeremy S. Smith+2 more|arXiv (Cornell University)|Aug 25, 2017

Human Pose and Action Recognition参考文献 19被引用 5

一句话总结

该论文提出分层多尺度注意力网络（HM-AN），通过将分层多尺度RNN与注意力机制结合，提升视频动作识别性能。采用可微分的Gumbel-softmax实现硬注意力，并引入自适应温度调度策略，HM-AN在HMDB51数据集上达到44.2%的准确率，优于带有注意力机制的LSTM模型；可视化结果证实了模型学习到的时间边界与动态注意力区域。

ABSTRACT

Recurrent Neural Networks (RNNs) have been widely used in natural language processing and computer vision. Among them, the Hierarchical Multi-scale RNN (HM-RNN), a kind of multi-scale hierarchical RNN proposed recently, can learn the hierarchical temporal structure from data automatically. In this paper, we extend the work to solve the computer vision task of action recognition. However, in sequence-to-sequence models like RNN, it is normally very hard to discover the relationships between inputs and outputs given static inputs. As a solution, attention mechanism could be applied to extract the relevant information from input thus facilitating the modeling of input-output relationships. Based on these considerations, we propose a novel attention network, namely Hierarchical Multi-scale Attention Network (HM-AN), by combining the HM-RNN and the attention mechanism and apply it to action recognition. A newly proposed gradient estimation method for stochastic neurons, namely Gumbel-softmax, is exploited to implement the temporal boundary detectors and the stochastic hard attention mechanism. To amealiate the negative effect of sensitive temperature of the Gumbel-softmax, an adaptive temperature training method is applied to better the system performance. The experimental results demonstrate the improved effect of HM-AN over LSTM with attention on the vision task. Through visualization of what have been learnt by the networks, it can be observed that both the attention regions of images and the hierarchical temporal structure can be captured by HM-AN.

研究动机与目标

• 为解决在视频动作识别中使用RNN建模复杂分层时间结构的挑战。
• 克服标准RNN与LSTM在视频任务中固定注意力机制与梯度消失的局限性。
• 在视觉任务中通过可微分的Gumbel-softmax实现随机硬注意力，替代REINFORCE方法，提升训练稳定性。
• 通过自适应训练策略降低Gumbel-softmax对温度超参数的敏感性。
• 在标准动作识别基准数据集上验证所提模型的有效性，并具备可视化可解释性。

提出的方法

• 将分层多尺度RNN（HM-RNN）与注意力机制结合，用于建模视频序列中的多尺度时间依赖性。
• 使用Gumbel-softmax对随机硬注意力单元进行可微分训练，实现通过离散注意力决策的端到端反向传播。
• 应用自适应温度调度策略，降低Gumbel-softmax中温度超参数的敏感性。
• 在多个分层级别上设置边界检测器，自动学习时间片段边界。
• 同时实现软注意力（特征加权融合）与硬注意力（聚焦于单一区域），用于消融实验与对比分析。
• 使用空间CNN特征作为输入，端到端联合学习注意力与边界检测。

Figure 1: Network Structure: After the networks discover the implicit boundary relations of the multi-scale property, boundary detectors can set the networks into an explicit multi-scale architecture.

实验结果

研究问题

• RQ1 带有注意力机制的分层多尺度RNN是否能优于标准LSTM，在动作识别性能上实现提升？
• RQ2 与REINFORCE相比，Gumbel-softmax是否能更有效且稳定地训练视频识别中的硬注意力？
• RQ3 自适应温度调度如何影响Gumbel-softmax在硬注意力中的性能与收敛性？
• RQ4 该模型能否学习到与人类对动作感知一致的有意义时间边界与空间注意力区域？
• RQ5 分层时间建模与注意力机制的结合是否能在HMDB51与UCF Sports等基准数据集上实现更好的泛化性能？

主要发现

• 自适应Gumbel-硬注意力变体在HMDB51数据集上达到44.2%的准确率，优于所有其他测试的基于RNN的方法，包括CHAM（43.4%）与基线LSTM。
• 在UCF Sports数据集上，自适应Gumbel-硬注意力与REINFORCE-硬注意力均优于软注意力，表明可微分硬注意力带来性能提升。
• 在较大数据集如HMDB51与Olympic Sports上，REINFORCE-硬注意力表现劣于软注意力，而基于Gumbel-softmax的硬注意力因梯度方差更低，始终保持更优性能。
• 可视化结果表明，HM-AN能学习随时间动态变化的注意力区域，各时间步的空间关注区域明显转移。
• 模型成功在多层中检测到分层时间边界，$z_1$、$z_2$与$z_3$分别表示不同时间尺度下的边界。
• 自适应温度策略有效缓解了Gumbel-softmax对超参数调优的敏感性，减少了手动搜索的需求。

Figure 2: The attention mechanism: The soft attention assign weights on different locations of features using softmax whilst the values of hard attention map are either 1 or 0 which means only one important location is selected.