[论文解读] Exploiting the ConvLSTM: Human Action Recognition using Raw Depth Video-Based Recurrent Neural Networks

A. Sánchez-Caballero, David Fuentes-Jiménez+1 more|arXiv (Cornell University)|Jun 13, 2020

Human Pose and Action Recognition参考文献 60被引用 22

一句话总结

本文提出两种基于ConvLSTM的循环神经网络，直接处理原始深度视频以实现人体动作识别，利用无状态和有状态的长短期记忆模式捕捉时空特征。有状态模型在NTU RGB+D数据集上达到80.43%的准确率，每视频耗时0.89秒，显著优于标准模型和无状态变体，同时保持较低的计算成本。

ABSTRACT

As in many other different fields, deep learning has become the main approach in most computer vision applications, such as scene understanding, object recognition, computer-human interaction or human action recognition (HAR). Research efforts within HAR have mainly focused on how to efficiently extract and process both spatial and temporal dependencies of video sequences. In this paper, we propose and compare, two neural networks based on the convolutional long short-term memory unit, namely ConvLSTM, with differences in the architecture and the long-term learning strategy. The former uses a video-length adaptive input data generator (\emph{stateless}) whereas the latter explores the \emph{stateful} ability of general recurrent neural networks but applied in the particular case of HAR. This stateful property allows the model to accumulate discriminative patterns from previous frames without compromising computer memory. Experimental results on the large-scale NTU RGB+D dataset show that the proposed models achieve competitive recognition accuracies with lower computational cost compared with state-of-the-art methods and prove that, in the particular case of videos, the rarely-used stateful mode of recurrent neural networks significantly improves the accuracy obtained with the standard mode. The recognition accuracies obtained are 75.26\% (CS) and 75.45\% (CV) for the stateless model, with an average time consumption per video of 0.21 s, and 80.43\% (CS) and 79.91\%(CV) with 0.89 s for the stateful version.

研究动机与目标

• 为解决在深度视频序列中高效建模长期时空依赖关系以实现人体动作识别的挑战。
• 探索ConvLSTM网络中尚未被充分利用的有状态模式，以在完整视频序列中保留并累积判别性特征。
• 开发一种端到端可训练的模型，直接处理原始深度视频，无需预处理如运动图或骨骼提取。
• 与现有基于动态图像的方法相比，降低计算成本，同时保持高准确率。
• 验证有状态ConvLSTM在复杂动作识别任务中长期时序建模方面的有效性。

提出的方法

• 采用ConvLSTM单元，将标准LSTM门结构替换为卷积操作，从3D张量输入中联合学习空间与时间特征。
• 使用无状态输入数据生成器，可适应可变长度的视频，实现无需序列截断的高效小批量训练。
• 实现一种有状态ConvLSTM变体，可在整个视频序列中保持隐藏状态和细胞状态，从而保留长期时序上下文。
• 应用深度学习优化技术，包括学习率范围测试、循环学习率调度和批量归一化，以提升训练稳定性和收敛性。
• 仅在NTU RGB+D数据集的原始深度视频序列上进行模型训练与评估，采用3D卷积和平均池化分类头。
• 端到端处理完整长度的视频，不生成如深度运动图或动态图像等中间表示。

实验结果

研究问题

• RQ1 有状态ConvLSTM架构能否有效学习原始深度视频中的长期时空模式以实现人体动作识别？
• RQ2 与标准（无状态）ConvLSTM相比，有状态ConvLSTM在准确率和计算效率方面表现如何？
• RQ3 直接在原始深度视频上进行端到端训练是否优于依赖手工设计表示（如运动图或动态图像）的方法？
• RQ4 利用RNN的有状态模式在多大程度上提升了长且复杂视频序列的识别准确率？
• RQ5 与最先进基于动态图像的方法相比，所提出方法能否在显著降低推理时间的同时实现具有竞争力的准确率？

主要发现

• 有状态ConvLSTM模型在NTU RGB+D数据集上达到80.43%的top-1准确率，优于无状态变体（75.26%），证明了长期记忆保持的有效性。
• 有状态模型在不截断的情况下处理整个视频序列，完整保留了所有帧的时空上下文，有助于提升准确率。
• 无状态ConvLSTM模型的准确率为75.26%，每视频平均推理时间为0.21秒，显著快于有状态版本。
• 尽管有状态模型的推理时间（每视频0.89秒）慢于无状态版本，但仍适合实时应用。
• 所提模型相比基于动态图像的方法效率大幅提升，后者每视频耗时高达62.03秒，而本方法准确率更高。
• 研究证实，RNN中极少被使用的有状态模式在基于视频的动作识别中能带来显著的性能提升，尤其在长序列场景下。