[论文解读] Learning long-term dependencies for action recognition with a biologically-inspired deep network

Yemin Shi, Yonghong Tian+2 more|arXiv (Cornell University)|Nov 16, 2016

Human Pose and Action Recognition参考文献 52被引用 5

一句话总结

本文提出shuttleNet，一种受生物学启发的深度网络，通过引入具有前向和反馈连接的环形共享处理器，增强动作识别能力，模拟大脑结构。将shuttleNet嵌入CNN-RNN框架后，在UCF101（95.4%）和HMDB51（71.7%）上实现最先进性能，尽管参数量与LSTM、GRU及先前方法相近，仍表现更优。

ABSTRACT

Despite a lot of research efforts devoted in recent years, how to efficiently learn long-term dependencies from sequences still remains a pretty challenging task. As one of the key models for sequence learning, recurrent neural network (RNN) and its variants such as long short term memory (LSTM) and gated recurrent unit (GRU) are still not powerful enough in practice. One possible reason is that they have only feedforward connections, which is different from the biological neural system that is typically composed of both feedforward and feedback connections. To address this problem, this paper proposes a biologically-inspired deep network, called shuttleNet\footnote{Our code is available at \url{https://github.com/shiyemin/shuttlenet}}. Technologically, the shuttleNet consists of several processors, each of which is a GRU while associated with multiple groups of cells and states. Unlike traditional RNNs, all processors inside shuttleNet are loop connected to mimic the brain's feedforward and feedback connections, in which they are shared across multiple pathways in the loop connection. Attention mechanism is then employed to select the best information flow pathway. Extensive experiments conducted on two benchmark datasets (i.e UCF101 and HMDB51) show that we can beat state-of-the-art methods by simply embedding shuttleNet into a CNN-RNN framework.

研究动机与目标

• 解决视频序列中学习长期依赖关系的动作识别挑战。
• 克服标准RNN、LSTM和GRU的局限性，这些模型缺乏生物神经系统的反馈连接。
• 设计一种受大脑前向与反馈连接模式启发的深度网络架构。
• 通过在环形结构中跨多个路径共享处理器，提升序列建模效率与表征能力。
• 证明此类生物启发设计可在参数量相近的情况下超越现有基于RNN的模型。

提出的方法

• shuttleNet由N个处理器组成环形结构，每个处理器为门控循环单元（GRU），以步长K连接形成环形结构。
• 每个处理器关联D组单元和状态，实现信息在环中的多条路径流通。
• 环形连接产生前向与反馈路径的组合，使信息可在多个时间步内循环并被处理。
• 网络同时通过N条路径处理输入，每个处理器保持独立状态，同时在各路径间共享权重。
• 应用注意力机制，动态选择最具有信息量的路径用于最终预测。
• 该架构集成于CNN-RNN框架中，将预训练CNN（如Inception-ResNet-v2）提取的特征输入shuttleNet进行序列建模。

实验结果

研究问题

• RQ1 具有反馈与前向连接的生物启发深度网络是否能提升动作识别中的长期序列建模能力？
• RQ2 与标准RNN相比，环形共享处理器架构是否能增强信息流动与表征学习？
• RQ3 此类网络是否能在参数量相近的情况下超越LSTM和GRU在基准动作识别数据集上的表现？
• RQ4 注意力机制在shuttleNet架构中如何促进最优路径的选择？
• RQ5 shuttleNet框架能否有效应用于小样本数据集（如HMDB51），并与手工设计特征互补？

主要发现

• 在UCF101上，shuttleNet达到95.4%的准确率，超过此前最先进方法（三流TSN为94.2%），并比两流ConvNets高出7.4个百分点。
• 在HMDB51上，shuttleNet达到71.7%的准确率，显著优于MIFS（65.1%）和TSN（69.4%），证明其在小而具有挑战性的数据集上仍具强大性能。
• 2-处理器-2-步的shuttleNet变体在UCF101上达到91.94%的准确率，证明该环形架构在极简复杂度下仍具高效性。
• 使用Inception-ResNet-v2作为主干网络相比GoogLeNet提升2%准确率，表明shuttleNet可随更强主干网络实现性能扩展。
• 与MIFS进行晚期融合可提升HMDB51的性能，证实深度特征与手工设计特征具有互补性。
• 模型的可并行化设计支持高效计算，因每个处理器在每个时间步独立运行，有利于硬件加速。