[论文解读] Metric-Based Few-Shot Learning for Video Action Recognition

Chris Careaga, Brian Hutchinson+2 more|arXiv (Cornell University)|Sep 14, 2019

Human Pose and Action Recognition参考文献 38被引用 19

一句话总结

该论文提出了一种基于度量的少样本视频动作识别框架，采用双流视频编码器结合池化LSTM与原型网络。在Kinetics 600的少样本划分上，5类5-shot任务的准确率达到84.2%，表明简单且高效的模型架构可在参数量显著减少的情况下达到最先进性能。

ABSTRACT

In the few-shot scenario, a learner must effectively generalize to unseen classes given a small support set of labeled examples. While a relatively large amount of research has gone into few-shot learning for image classification, little work has been done on few-shot video classification. In this work, we address the task of few-shot video action recognition with a set of two-stream models. We evaluate the performance of a set of convolutional and recurrent neural network video encoder architectures used in conjunction with three popular metric-based few-shot algorithms. We train and evaluate using a few-shot split of the Kinetics 600 dataset. Our experiments confirm the importance of the two-stream setup, and find prototypical networks and pooled long short-term memory network embeddings to give the best performance as few-shot method and video encoder, respectively. For a 5-shot 5-way task, this setup obtains 84.2% accuracy on the test set and 59.4% on a special "challenge" test set, composed of highly confusable classes.

研究动机与目标

• 解决尽管少样本图像分类研究取得进展，但少样本视频动作识别领域仍缺乏研究的问题。
• 评估不同视频编码器架构与基于度量的少样本学习方法在少样本视频任务上的表现。
• 探究光流与帧率在少样本视频表征学习中的作用。
• 证明高效轻量级模型可在少样本视频识别中实现最先进性能。

提出的方法

• 使用双流视频编码器，输入为RGB与光流，以捕捉外观与运动特征。
• 采用池化LSTM网络将帧级特征聚合为时序视频级嵌入表示。
• 应用三种基于度量的少样本学习方法——原型网络、匹配网络与学习度量网络——进行分类。
• 在Kinetics 600数据集的少样本划分上，采用元学习的episode训练方式，设置为5类5-shot任务。
• 比较帧级嵌入表示的聚合策略，包括特征平均、LSTM、ConvLSTM与3D卷积。
• 在通用测试集与包含高度易混淆动作类别的挑战性测试集上评估模型性能。

实验结果

研究问题

• RQ1 不同视频编码器架构如何影响少样本视频动作识别的性能？
• RQ2 RGB流与光流流在少样本视频学习中的相对贡献如何？
• RQ3 将帧率提高至超过1 fps是否能进一步提升少样本视频识别准确率？
• RQ4 是否可仅通过简单度量方法（如原型网络）实现具有竞争力的性能，而无需复杂主干网络？
• RQ5 与通用类别相比，模型在高度易混淆动作类别上的性能下降程度如何？

主要发现

• 池化LSTM视频编码器与原型网络的组合在5类5-shot任务的通用测试集上达到最高准确率84.2%。
• 挑战性测试集（包含高度易混淆动作）的准确率显著下降至59.4%，凸显细粒度动作识别的难度。
• 仅使用光流而不使用RGB导致性能下降19.6%，表明运动特征比外观特征更为关键。
• 使用单帧输入而非1 fps输入导致准确率下降约10%，表明时序上下文对少样本视频学习至关重要。
• 将帧率提高至超过1 fps未带来显著性能提升，表明1 fps已足够支持有效的少样本学习。
• 对帧嵌入进行简单平均与LSTM聚合的效果几乎相当，表明复杂时序建模并非总是必需。