[论文解读] Context-LSTM: a robust classifier for video detection on UCF101

Dengshan Li, Rujing Wang|arXiv (Cornell University)|Mar 13, 2022

Anomaly Detection Techniques and Applications被引用 5

一句话总结

该论文提出Context-LSTM，一种基于轻量级LSTM的架构，在UCF101动作识别基准上实现了最先进（SOTA）的top-1准确率，同时显著减少了训练时间和GPU显存使用。通过级联带有ReLU、批量归一化和最大池化层的LSTM模块，该模型能够高效捕捉长程时间依赖性，并模拟人类的时间推理方式，实现鲁棒的视频动作检测。

ABSTRACT

Video detection and human action recognition may be computationally expensive, and need a long time to train models. In this paper, we were intended to reduce the training time and the GPU memory usage of video detection, and achieved a competitive detection accuracy. Other research works such as Two-stream, C3D, TSN have shown excellent performance on UCF101. Here, we used a LSTM structure simply for video detection. We used a simple structure to perform a competitive top-1 accuracy on the entire validation dataset of UCF101. The LSTM structure is named Context-LSTM, since it may process the deep temporal features. The Context-LSTM may simulate the human recognition system. We cascaded the LSTM blocks in PyTorch and connected the cell state flow and hidden output flow. At the connection of the blocks, we used ReLU, Batch Normalization, and MaxPooling functions. The Context-LSTM could reduce the training time and the GPU memory usage, while keeping a state-of-the-art top-1 accuracy on UCF101 entire validation dataset, show a robust performance on video action detection.

研究动机与目标

• 减少视频动作检测模型中的训练时间与GPU显存消耗。
• 在简化架构的前提下，维持在UCF101基准上的高准确率。
• 探索循环LSTM结构在视频级动作识别中的有效性。
• 设计一种能模拟人类时间感知的模型以实现动作识别。
• 以极低的计算成本实现具有竞争力的性能。

提出的方法

• 该模型采用级联的LSTM模块架构，用于处理序列化的视频特征。
• 在堆叠的LSTM模块之间保持细胞状态与隐藏状态的流动，以实现长期依赖建模。
• 在模块连接处应用ReLU激活、批量归一化和最大池化层，以增强特征学习与维度控制。
• 该架构使用PyTorch实现，以实现高效的训练与推理。
• 从视频帧中提取时间特征，并按顺序输入Context-LSTM进行分类。
• 在UCF101数据集上使用标准交叉熵损失函数进行端到端训练。

实验结果

研究问题

• RQ1 简单的LSTM架构是否能在减少训练时间与显存使用的情况下，实现在UCF101上的有竞争力性能？
• RQ2 结合归一化与池化层的级联LSTM结构，在建模长程时间依赖性方面有多高效？
• RQ3 Context-LSTM在视频动作识别中，能在多大程度上模拟人类的时间推理方式？
• RQ4 在视频检测任务中，模型复杂度与性能之间的权衡如何？
• RQ5 轻量级循环模型是否能在UCF101上超越或匹配Two-stream或C3D等更复杂架构的性能？

主要发现

• Context-LSTM在UCF101完整验证集上实现了与最先进方法相当的top-1准确率。
• 与标准视频识别模型相比，该模型显著减少了训练时间与GPU显存使用。
• 在模块连接处集成ReLU、批量归一化与最大池化层，提升了特征表示能力与模型稳定性。
• 级联LSTM结构能有效捕捉长视频序列中的深层时间特征。
• 该模型在UCF101数据集中多样化的动作类别上表现出鲁棒的性能。
• 尽管架构简单且计算开销极低，该模型仍展现出强大的泛化能力。