[论文解读] Fine-grained Video Classification and Captioning

Farzaneh Mahdisoltani, Guillaume Berger+3 more|arXiv (Cornell University)|Apr 24, 2018

Human Pose and Action Recognition被引用 28

一句话总结

本文提出一种端到端深度神经网络，用于联合视频分类与字幕生成，通过在多个粒度层级上共享特征，证明了在细粒度动作上进行训练可提升迁移学习的特征质量。在Something-Something数据集上，该模型在细粒度分类任务中达到最先进性能，并为视频字幕生成任务建立了强有力的基线。

ABSTRACT

We describe a DNN for video classification and captioning, trained end-to-end, with shared features, to solve tasks at different levels of granularity, exploring the link between granularity in a source task and the quality of learned features for transfer learning. For solving the new task domain in transfer learning, we freeze the trained encoder and fine-tune a neural net on the target domain. We train on the Something-Something dataset with over 220, 000 videos, and multiple levels of target granularity, including 50 action groups, 174 fine-grained action categories and captions. Classification and captioning with Something-Something are challenging because of the subtle differences between actions, applied to thousands of different object classes, and the diversity of captions penned by crowd actors. Our model performs better than existing classification baselines for SomethingSomething, with impressive fine-grained results. And it yields a strong baseline on the new Something-Something captioning task. Experiments reveal that training with more fine-grained tasks tends to produce better features for transfer learning.

研究动机与目标

• 探究源任务的粒度如何影响迁移学习中所学特征的质量。
• 开发一种统一的深度学习模型，实现视频分类与字幕生成的联合建模，并共享特征。
• 在挑战性数据集Something-Something上评估模型性能，该数据集包含细微的动作差异和多样化的字幕。
• 为Something-Something上的新型视频字幕生成任务建立强有力的基线。

提出的方法

• 模型使用共享编码器从视频片段中提取特征，该编码器同时服务于分类头和字幕生成头。
• 在多个粒度层级上进行端到端训练：50个粗粒度动作组、174个细粒度动作类别以及完整字幕。
• 在迁移学习过程中冻结编码器，并在目标领域上微调新的分类器或字幕生成头。
• 通过3D卷积和注意力机制实现时序建模，以捕捉细粒度动作的动力学特征。
• 在来自Something-Something数据集的超过22万段视频上进行训练，包含多样化的物体类别和人工标注的字幕。
• 通过冻结编码器并在下游任务上微调新头来实现迁移学习。

实验结果

研究问题

• RQ1 源任务的粒度如何影响为迁移学习所学特征的质量？
• RQ2 单一共享编码器能否有效支持在多个粒度层级上的视频分类与字幕生成？
• RQ3 在细粒度动作上进行训练是否能提升下游分类任务的性能？
• RQ4 该模型在Something-Something上新引入的视频字幕生成任务上的表现如何？
• RQ5 多层级监督（粗粒度、细粒度和字幕）对特征表示质量有何影响？

主要发现

• 该模型在Something-Something数据集上的分类基线表现更优，尤其在细粒度动作识别方面。
• 通过更多细粒度任务进行训练可提升迁移学习的特征表示质量，下游性能的提升也证实了这一点。
• 该模型为Something-Something上的新型视频字幕生成任务建立了强有力的基线，展示了生成多样化且准确字幕的有效性。
• 跨任务共享特征可提升泛化能力，尤其是在源数据包含细粒度动作区分时。
• 通过多层级监督进行端到端训练可增强特征学习，从而为分类与字幕生成任务提供稳健的表示。