[论文解读] Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognition

Kensho Hara, Hirokatsu Kataoka+1 more|arXiv (Cornell University)|Aug 25, 2017

Human Pose and Action Recognition参考文献 17被引用 79

一句话总结

该论文将 ResNet 扩展到 3D 卷积，以学习用于动作识别的时空特征，并在 Kinetics 上显示出与 C3D 和 RGB-I3D 基线相比的强大性能，进行了大规模预训练比较。

ABSTRACT

Convolutional neural networks with spatio-temporal 3D kernels (3D CNNs) have an ability to directly extract spatio-temporal features from videos for action recognition. Although the 3D kernels tend to overfit because of a large number of their parameters, the 3D CNNs are greatly improved by using recent huge video databases. However, the architecture of 3D CNNs is relatively shallow against to the success of very deep neural networks in 2D-based CNNs, such as residual networks (ResNets). In this paper, we propose a 3D CNNs based on ResNets toward a better action representation. We describe the training procedure of our 3D ResNets in details. We experimentally evaluate the 3D ResNets on the ActivityNet and Kinetics datasets. The 3D ResNets trained on the Kinetics did not suffer from overfitting despite the large number of parameters of the model, and achieved better performance than relatively shallow networks, such as C3D. Our code and pretrained models (e.g. Kinetics and ActivityNet) are publicly available at https://github.com/kenshohara/3D-ResNets.

研究动机与目标

• 通过将残差网络应用于 3D CNN 来更好建模时空特征，从而推动提升动作识别。
• 提出具有 3D 核和恒等捷径的 3D ResNet 架构，以实现对深层模型的训练。
• 在大规模视频数据集（Kinetics）上评估 3D ResNet，以评估过拟合和性能。
• 提供预训练的 3D ResNet 模型与训练细节以便复现。

提出的方法

• 将 ResNet 架构扩展为 3D 卷积和带 3x3x3 内核的池化。
• 使用 16 帧 RGB 剪辑作为输入，采用标准的 ResNet 风格残差块和恒等捷径。
• 使用 SGD 在 Kinetics 上训练，数据增强包括随机时间采样、多尺度裁剪和水平翻转。
• 使用覆盖 16 帧剪辑的滑动窗口方法进行评估，并对剪辑的类别概率取平均。
• 与 C3D（带和不带 Batch Normalization）以及 RGB-I3D 基线进行比较，以评估深度和预训练效果。

实验结果

研究问题

• RQ1 将 ResNet 风格的残差块应用于 3D CNN 是否能在大规模数据集上提升动作识别性能？
• RQ2 在从头开始在 Kinetics 上训练时，更深的 3D ResNets 如何与 C3D 和 RGB-I3D 基线相比？
• RQ3 预训练和数据集规模对动作识别中 3D CNN 的过拟合有何影响？
• RQ4 训练深度 3D ResNet 时需要的实际训练考虑因素（批量大小、GPU 使用等）有哪些？

主要发现

• 3D ResNet-34 在 Kinetics 上的准确率高于 C3D 基线，表明采用 3D 核的深层结构对动作识别有利。
• 3D ResNets 从头在 Kinetics 上训练时不会过拟合，在充足资源的前提下，其性能与某些 RGB-I3D 配置相当，甚至优于它们。
• 在 Sports-1M 上的预训练有助于较浅的 3D CNN（C3D），但更深的 3D ResNet 仍然从大规模数据中受益，而不需要 Sports-1M 预训练。
• 在未进行 ImageNet 预训练的情况下，RGB-I3D 在所报告的基线中取得顶级性能，强调了在充足数据条件下深层 3D 架构的价值。
• 作者提供公开可获取的代码和预训练的 3D-ResNets 模型以便复现。