[论文解读] Generalized Zero-Shot Learning for Action Recognition with Web-Scale Video Data

Kun Liu, Wu Liu+3 more|arXiv (Cornell University)|Oct 20, 2017

Human Pose and Action Recognition参考文献 34被引用 4

一句话总结

本文提出了一种广义零样本学习（GZSL）框架，用于利用大规模网络视频数据在监控视频中进行动作识别，通过语义嵌入和视觉特征迁移，在无训练样本的情况下识别未见动作。研究发现，传统零样本方法在GZSL设置下表现不佳，并提出了一种新方法，在新构建的监控数据集上实现了更优性能，能够在真实条件下更准确地区分已见与未见类别。

ABSTRACT

Action recognition in surveillance video makes our life safer by detecting the criminal events or predicting violent emergencies. However, efficient action recognition is not free of difficulty. First, there are so many action classes in daily life that we cannot pre-define all possible action classes beforehand. Moreover, it is very hard to collect real-word videos for certain particular actions such as steal and street fight due to legal restrictions and privacy protection. These challenges make existing data-driven recognition methods insufficient to attain desired performance. Zero-shot learning is potential to be applied to solve these issues since it can perform classification without positive example. Nevertheless, current zero-shot learning algorithms have been studied under the unreasonable setting where seen classes are absent during the testing phase. Motivated by this, we study the task of action recognition in surveillance video under a more realistic \emph{generalized zero-shot setting}, where testing data contains both seen and unseen classes. To our best knowledge, this is the first work to study video action recognition under the generalized zero-shot setting. We firstly perform extensive empirical studies on several existing zero-shot leaning approaches under this new setting on a web-scale video data. Our experimental results demonstrate that, under the generalize setting, typical zero-shot learning methods are no longer effective for the dataset we applied. Then, we propose a method for action recognition by deploying generalized zero-shot learning, which transfers the knowledge of web video to detect the anomalous actions in surveillance videos. To verify the effectiveness of our proposed method, we further construct a new surveillance video dataset consisting of nine action classes related to the public safety situation.

研究动机与目标

• 解决由于标注数据有限和隐私限制，导致在监控视频中难以识别罕见或未见动作的问题。
• 在广义零样本学习（GZSL）设置下研究视频动作识别，其中测试时同时存在已见和未见类别，比传统ZSL更具现实意义。
• 识别现有零样本学习方法在视频识别中应用于GZSL时的局限性，特别是其倾向于将未见动作误分类为已见类别的倾向。
• 构建一个包含九个公共安全相关动作类别的新监控视频数据集，以验证所提方法。
• 设计一种鲁棒的GZSL框架，实现从大规模网络视频到监控环境中异常动作检测的知识迁移。

提出的方法

• 采用广义零样本学习（GZSL）范式，测试时同时包含已见和未见动作类别，模拟真实世界部署场景。
• 利用大规模网络视频数据，通过双流卷积神经网络预训练视觉表征，分别捕捉空间外观和通过光流获得的时间动态。
• 使用语义嵌入（如词向量或属性）表示动作类别，实现对未见类别的零样本迁移。
• 训练一个统一分类器，将视觉特征映射到语义空间，同时学习区分已见和未见类别。
• 引入一种损失函数，平衡在已见和未见类别上的性能，减少推理过程中对已见类别的偏差。
• 在独立的验证集上进行超参数调优，以确保模型鲁棒性并避免对训练分布的过拟合。

实验结果

研究问题

• RQ1 在广义零样本学习（GZSL）设置下，即测试时同时存在已见和未见类别，现有零样本学习方法的表现如何？
• RQ2 为何传统零样本学习方法在视频动作识别（尤其是监控场景）的GZSL设置下会失效，特别是其为何倾向于将未见动作误分类为已见类别？
• RQ3 能否设计一种统一框架，利用大规模网络数据在监控视频中同时识别已见和未见动作？
• RQ4 视觉空间与语义空间之间的语义鸿沟在动作识别的GZSL中起什么作用，如何最小化该鸿沟？
• RQ5 所提方法在监控视频中未见动作的识别准确率和泛化能力方面，与当前最先进ZSL方法相比如何？

主要发现

• 在广义零样本学习（GZSL）设置下，传统零样本学习方法在未见类别上的性能显著下降，大多数未见样本被错误分类为已见类别。
• 标准多分类方法的性能始终高于任何零样本设置，证实零样本识别仍是具有挑战性的问题。
• 在测试方法中，SynCstruct在传统和广义零样本学习设置下均表现最佳，表明其具有鲁棒性且具备适配GZSL的潜力。
• 所提方法通过平衡已见与未见类别上的分类性能，显著提升了泛化能力，减少了对已见类别的偏差。
• 由于光照差、运动模糊、目标尺度小以及如盗窃等短暂而复杂的动作，监控视频中的动作识别比网络视频更具挑战性。
• 新构建的包含九个公共安全相关动作类别的监控视频数据集，为评估真实部署场景下的GZSL提供了现实基准。