[论文解读] An Information-rich Sampling Technique over Spatio-Temporal CNN for Classification of Human Actions in Videos

S. H. Shabbeer Basha, Viswanath Pulabaigari+1 more|arXiv (Cornell University)|Feb 6, 2020

Human Pose and Action Recognition被引用 6

一句话总结

本文提出了一种信息丰富的采样技术，通过高斯加权求和聚合视频中的连续帧，以增强时空特征学习。结合3D卷积神经网络（CNN）与长短期记忆（LSTM）网络架构，该方法在KTH和WEIZMANN数据集上实现了最先进性能，准确率达到95.27%（±0.45），在使用迁移学习时达到95.86%。

ABSTRACT

We propose a novel scheme for human action recognition in videos, using a 3-dimensional Convolutional Neural Network (3D CNN) based classifier. Traditionally in deep learning based human activity recognition approaches, either a few random frames or every $k^{th}$ frame of the video is considered for training the 3D CNN, where $k$ is a small positive integer, like 4, 5, or 6. This kind of sampling reduces the volume of the input data, which speeds-up training of the network and also avoids over-fitting to some extent, thus enhancing the performance of the 3D CNN model. In the proposed video sampling technique, consecutive $k$ frames of a video are aggregated into a single frame by computing a Gaussian-weighted summation of the $k$ frames. The resulting frame (aggregated frame) preserves the information in a better way than the conventional approaches and experimentally shown to perform better. In this paper, a 3D CNN architecture is proposed to extract the spatio-temporal features and follows Long Short-Term Memory (LSTM) to recognize human actions. The proposed 3D CNN architecture is capable of handling the videos where the camera is placed at a distance from the performer. Experiments are performed with KTH and WEIZMANN human actions datasets, whereby it is shown to produce comparable results with the state-of-the-art techniques.

研究动机与目标

• 通过改进3D CNN的帧采样技术，提升视频中人体动作识别性能。
• 解决传统帧采样方法（如随机采样或每隔k帧采样）可能丢失关键运动信息的局限性。
• 开发一种鲁棒的特征提取流程，以在长序列视频中保留时空动态特性。
• 在KTH和WEIZMANN基准数据集上，通过交叉验证和迁移学习设置评估所提方法。

提出的方法

• 使用大小为k的高斯核确定权重，对连续的k帧进行高斯加权求和，聚合为单帧。
• 采用3D卷积神经网络从聚合帧中提取时空特征，实现空间与时间模式的联合学习。
• 集成长短期记忆（LSTM）网络，以建模提取特征中的序列依赖关系，提升动作分类性能。
• 通过微调在KTH和WEIZMANN数据集上预训练的3D CNN模型的最后两层全连接层，实现迁移学习。
• 优化高斯核大小（范围为3至8），以确定最佳帧聚合策略。
• 应用5折交叉验证，并以分类准确率为首要指标评估性能。

实验结果

研究问题

• RQ1 与随机采样或均匀采样相比，高斯加权帧聚合在动作识别准确率方面表现如何？
• RQ2 在视频动作识别中，聚合连续帧的最优高斯核大小是多少？
• RQ3 所提出的3D CNN结合LSTM是否能在标准人体动作识别基准上超越现有最先进深度学习模型？
• RQ4 在较小数据集（如WEIZMANN和KTH）上微调时，迁移学习在多大程度上提升了性能？

主要发现

• 在KTH数据集上采用5折交叉验证，所提方法达到95.27% ± 0.45的分类准确率，优于多种最先进方法。
• 在KTH数据集上使用迁移学习后，模型准确率达到95.86% ± 0.3，表明在相关数据集上微调具有显著有效性。
• 帧聚合的最优高斯核大小被确定为5，在所有测试大小（3至8）中表现最佳。
• 增加可训练全连接层的数量会导致过拟合，尤其在小数据集上，表现为泛化性能下降。
• 该模型在性能上可与基于手工设计特征的方法（如表达袋（BoE）和方向光学流直方图（HOOF））相媲美，同时仅依赖深度学习。
• 在两个数据集上，迁移学习均带来小幅性能提升，表明预训练模型可有效适应新动作识别任务，且仅需极少微调。