[论文解读] Learning Spatiotemporal Features with 3D Convolutional Networks

Du Tran, Lubomir Bourdev+3 more|arXiv (Cornell University)|Dec 2, 2014

Human Pose and Action Recognition参考文献 52被引用 155

一句话总结

本文提出C3D，一种3D卷积神经网络，通过使用小尺寸的$3\times3\times3$卷积核，直接从视频片段中学习时空特征。在大规模视频数据集上进行训练后，C3D在多个基准测试中实现了最先进性能，仅使用简单的线性分类器，提供了紧凑、高效且通用的视频表征，适用于多种视频分析任务。

ABSTRACT

We propose a simple, yet effective approach for spatiotemporal feature learning using deep 3-dimensional convolutional networks (3D ConvNets) trained on a large scale supervised video dataset. Our findings are three-fold: 1) 3D ConvNets are more suitable for spatiotemporal feature learning compared to 2D ConvNets; 2) A homogeneous architecture with small 3x3x3 convolution kernels in all layers is among the best performing architectures for 3D ConvNets; and 3) Our learned features, namely C3D (Convolutional 3D), with a simple linear classifier outperform state-of-the-art methods on 4 different benchmarks and are comparable with current best methods on the other 2 benchmarks. In addition, the features are compact: achieving 52.8% accuracy on UCF101 dataset with only 10 dimensions and also very efficient to compute due to the fast inference of ConvNets. Finally, they are conceptually very simple and easy to train and use.

研究动机与目标

• 开发一种适用于多种视频分析任务的通用、紧凑且高效的视频表征。
• 探究3D卷积网络是否能够同时建模空间与时间特征，从而优于2D卷积网络。
• 确定3D卷积网络在视频动作识别任务中，最优的架构超参数（特别是卷积核大小与网络深度）。
• 在无需针对特定任务微调的情况下，评估C3D特征与简单线性分类器结合在多个基准测试中的有效性。

提出的方法

• 在大规模监督视频数据集上训练一个所有层均使用$3\times3\times3$卷积核的3D卷积网络。
• 通过空间与时间卷积操作，联合学习来自视频片段的外观与运动模式。
• 应用平均池化与最后的全连接层，生成固定长度的视频嵌入表示。
• 采用反卷积网络可视化并解释不同网络深度下学习到的特征图。
• 训练不同输入分辨率（$64\times64$、$128\times128$、$256\times256$）的模型，以评估准确率、参数量与训练时间之间的权衡。
• 在最终池化特征上使用线性分类器，评估其在下游视频识别任务中的性能。

实验结果

研究问题

• RQ1 3D卷积网络在视频动作识别中，是否能比2D卷积网络更有效地学习时空特征？
• RQ2 在学习视频特征时，3D卷积网络的最佳卷积核大小与网络深度是什么？
• RQ3 输入分辨率如何影响3D卷积网络的性能、参数数量与训练效率？
• RQ4 当与C3D特征结合时，简单线性分类器能在多大程度上实现优异性能？
• RQ5 C3D网络不同层次中学习到的滤波器检测到哪些类型的运动与外观模式？

主要发现

• 3D卷积网络在建模时空特征方面显著优于2D卷积网络，当使用$128\times128$输入分辨率时，在UCF101数据集上实现了3.1%的准确率提升。
• 所有层均采用$3\times3\times3$卷积核的同质化架构性能最佳，优于更大或混合尺寸的卷积核。
• C3D在UCF101数据集上仅使用10维特征即达到85.2%的准确率，展现出极高的紧凑性与效率。
• 在UCF100基准测试中，C3D在使用全部可用特征（如光流）时达到90.4%的准确率，优于先前的最先进方法。
• 反卷积可视化结果表明，浅层检测到低级运动模式（如运动边缘、光斑），而深层则检测到复杂动作（如骑自行车、圆周运动、面部动作）。
• C3D特征比光流更具选择性，仅关注显著的运动模式而非所有运动像素，该结论在图15中得到验证。