[论文解读] Collaborative Spatio-temporal Feature Learning for Video Action Recognition

Chao Li, Qiaoyong Zhong+2 more|arXiv (Cornell University)|Mar 4, 2019

Human Pose and Action Recognition参考文献 33被引用 31

一句话总结

该论文提出协作时空（CoST）神经运算，通过在体积视频数据的三个正交视图——H×W、T×H 和 T×W 上应用共享的 2D 卷积，联合学习空间与时间特征。通过可学习权重融合互补特征，CoST 在大规模基准上实现最先进性能，包括在 Moments in Time Challenge 2018 中获得第一名，同时支持对空间与时间特征贡献的可解释性分析。

ABSTRACT

Spatio-temporal feature learning is of central importance for action recognition in videos. Existing deep neural network models either learn spatial and temporal features independently (C2D) or jointly with unconstrained parameters (C3D). In this paper, we propose a novel neural operation which encodes spatio-temporal features collaboratively by imposing a weight-sharing constraint on the learnable parameters. In particular, we perform 2D convolution along three orthogonal views of volumetric video data,which learns spatial appearance and temporal motion cues respectively. By sharing the convolution kernels of different views, spatial and temporal features are collaboratively learned and thus benefit from each other. The complementary features are subsequently fused by a weighted summation whose coefficients are learned end-to-end. Our approach achieves state-of-the-art performance on large-scale benchmarks and won the 1st place in the Moments in Time Challenge 2018. Moreover, based on the learned coefficients of different views, we are able to quantify the contributions of spatial and temporal features. This analysis sheds light on interpretability of the model and may also guide the future design of algorithm for video recognition.

研究动机与目标

• 解决视频动作识别中高效且有效的联合时空特征学习挑战。
• 通过引入协作学习机制，克服独立空间（C2D）或完全纠缠的 3D（C3D）特征学习的局限性。
• 在保持强大表示能力的同时，减少模型参数并提高训练效率。
• 通过学习到的融合系数量化空间与时间特征的贡献，实现可解释性。
• 通过结合 2D 卷积的紧凑性与 3D 特征学习的表示能力，弥合 C2D 与 C3D 之间的差距。

提出的方法

• 该方法构建 3D 视频张量的三个正交 2D 视图：H×W（空间）、T×H（沿高度的时间）和 T×W（沿宽度的时间）。
• 在每个视图上应用共享的 2D 卷积核，实现对空间外观与时间运动线索的协作学习。
• 通过可学习的、通道级的加权求和，融合来自三个视图的互补特征，系数通过端到端训练学习。
• 该架构设计为 C2D 和 C3D 的即插即用替代品，可集成到现有 CNN 框架（如 ResNet）中。
• 共享卷积核设计减少了模型参数，并减轻了过拟合，同时保留了特征多样性。
• 通过分析各层和动作类别上学习到的融合系数的平均值，实现可解释性。

实验结果

研究问题

• RQ1 能否通过在多个视频视图间共享 2D 卷积，以协作方式有效学习空间与时间特征？
• RQ2 在不同视图间共享权重是否能在降低模型复杂度的同时提升特征表示能力？
• RQ3 空间与时间特征的贡献如何随网络深度和动作类别变化？
• RQ4 所提出的方法是否能在大规模视频动作识别基准上实现最先进性能？
• RQ5 学习到的融合系数在多大程度上能提供关于外观与运动在视频分类中重要性的可解释洞察？

主要发现

• CoST 在大规模基准上实现最先进性能，包括在 Moments in Time Challenge 2018 中获得第一名。
• 在 Moments in Time 数据集上，空间特征（H×W 视图）平均贡献 67%，而时间特征（T×H 和 T×W 视图）分别贡献 14% 和 19%。
• 在 Kinetics 数据集上，空间特征贡献 77%，时间特征对两个时间视图的贡献分别为 8% 和 15%。
• 从浅层到深层观察到明显趋势：空间特征贡献下降，时间特征贡献上升，表明高层特征更侧重时间抽象。
• 对于 'erupting' 和 'storming' 等动作类别，时间运动线索具有高度判别性；而对于 'buying' 和 'interviewing'，外观特征更为重要。
• 结果表明，当前的时空模型可能在某些动作上低估了运动线索的作用，未来设计应更好地平衡模态贡献。