[论文解读] Alternative Semantic Representations for Zero-Shot Human Action Recognition

Qian Wang, Ke Chen|arXiv (Cornell University)|Jun 28, 2017

Human Pose and Action Recognition参考文献 22被引用 4

一句话总结

本文提出使用从网络搜索图像中获取的文本描述和深度图像特征作为零样本人类动作识别的替代语义表征，显著优于传统的属性和词向量。通过利用可访问的网络侧信息并采用Fisher向量或平均池化进行编码，该方法在极少标注数据下实现了最先进性能，尤其在每类仅使用5–20张图像时表现突出。

ABSTRACT

A proper semantic representation for encoding side information is key to the success of zero-shot learning. In this paper, we explore two alternative semantic representations especially for zero-shot human action recognition: textual descriptions of human actions and deep features extracted from still images relevant to human actions. Such side information are accessible on Web with little cost, which paves a new way in gaining side information for large-scale zero-shot human action recognition. We investigate different encoding methods to generate semantic representations for human actions from such side information. Based on our zero-shot visual recognition method, we conducted experiments on UCF101 and HMDB51 to evaluate two proposed semantic representations . The results suggest that our proposed text- and image-based semantic representations outperform traditional attributes and word vectors considerably for zero-shot human action recognition. In particular, the image-based semantic representations yield the favourable performance even though the representation is extracted from a small number of images per class.

研究动机与目标

• 解决传统语义表征（如属性和词向量）在零样本人类动作识别中的局限性。
• 探索可扩展的替代侧信息来源——通过网络搜索获取的文本描述和与动作相关的图像。
• 评估此类侧信息是否能够弥合语义鸿沟并提升零样本识别性能。
• 证明即使每动作类别仅使用少量图像，也能生成强大的语义表征。

提出的方法

• 使用动作类别名称作为搜索查询，从网络上收集人类动作的文本描述。
• 利用预训练的卷积神经网络（如GoogLeNet）从网络搜索获取的静态图像中提取深度卷积特征。
• 通过Fisher向量（FV）或平均池化对图像特征进行编码，形成语义表征。
• 通过结合来自网络文章的上下文文本描述，增强词向量。
• 采用零样本学习框架，将视觉特征映射到语义嵌入，同时保持语义距离。
• 在UCF101和HMDB51数据集上，于归纳式和归纳迁移式零样本学习设置中应用基于图像和基于文本的语义表征。

实验结果

研究问题

• RQ1 与标准词向量相比，来自网络的文本描述是否能提升零样本人类动作识别的语义表征？
• RQ2 通过网络搜索获取的动作相关图像能否作为零样本动作识别的有效侧信息？
• RQ3 每类动作图像数量如何影响基于图像的语义表征性能？
• RQ4 在零样本动作识别中，基于图像的表征是否优于基于属性和词向量的表征？
• RQ5 结合基于图像和基于文本的表征是否能进一步提升性能？

主要发现

• 基于图像的语义表征在UCF101和HMDB51上均优于传统属性和词向量，在UCF101的归纳迁移设置中达到58.57±1.50%的准确率。
• 仅使用每类5张图像时，基于图像的表征已在UCF101上超越词向量和属性表征，且性能随图像数量增至40张/类时显著提升。
• 在HMDB51上，当每类使用20张图像时，基于图像的表征超过词向量，性能在约80张/类时趋于饱和。
• 采用Fisher向量编码（FFV）和平均特征向量（AFV）的基于图像的表征性能随图像数量增加而提升，但超过每类40–80张后增益逐渐减小。
• 基于文本的表征虽不如基于图像的表征有效，但经网络文本上下文增强后，仍优于词向量和属性表征。
• 初步实验中，图像与文本表征的结合并未带来优于仅使用图像表征的性能，表明二者可能存在非互补性，或需更优的融合策略。