[论文解读] Multi-Cue Zero-Shot Learning with Strong Supervision

Zeynep Akata, Mateusz Malinowski+2 more|arXiv (Cornell University)|Mar 29, 2016

Domain Adaptation and Few-Shot Learning参考文献 47被引用 18

一句话总结

本文提出了一种多线索零样本学习框架，利用非结构化网络文本和来自语义部位标注的强视觉监督，以在无训练数据的情况下提升细粒度图像识别性能。通过将多种语言线索（例如，word2vec、BoW、NAD2）与视觉部位联合嵌入到共享空间中，该方法在CUB数据集上实现了新的最先进性能：使用无监督文本嵌入时准确率为34.7%，使用人工标注属性时准确率为56.5%。

ABSTRACT

Scaling up visual category recognition to large numbers of classes remains challenging. A promising research direction is zero-shot learning, which does not require any training data to recognize new classes, but rather relies on some form of auxiliary information describing the new classes. Ultimately, this may allow to use textbook knowledge that humans employ to learn about new classes by transferring knowledge from classes they know well. The most successful zero-shot learning approaches currently require a particular type of auxiliary information -- namely attribute annotations performed by humans -- that is not readily available for most classes. Our goal is to circumvent this bottleneck by substituting such annotations by extracting multiple pieces of information from multiple unstructured text sources readily available on the web. To compensate for the weaker form of auxiliary information, we incorporate stronger supervision in the form of semantic part annotations on the classes from which we transfer knowledge. We achieve our goal by a joint embedding framework that maps multiple text parts as well as multiple semantic parts into a common space. Our results consistently and significantly improve on the state-of-the-art in zero-short recognition and retrieval.

研究动机与目标

• 通过利用网络上现成的非结构化文本，克服零样本学习中人工标注属性的瓶颈。
• 通过引入语义部位标注的强视觉监督，提升零样本细粒度识别性能。
• 开发一种联合嵌入框架，将多样化的语言线索与视觉部位整合到同一空间中。
• 证明更强的视觉监督可以弥补较弱、更嘈杂的文本辅助信息。

提出的方法

• 提出一种联合嵌入框架，将多种文本源（word2vec、BoW、NAD2）和视觉部位映射到共享嵌入空间。
• 基于word2vec空间中的向量差，提出基于名词-属性-差异（NAD2）的表示方法，以在无需人工标注的情况下建模类别-属性相似性。
• 在训练过程中使用语义部位标注作为强视觉监督，即使在测试时未使用这些标注。
• 结合多种语言表示（例如，word2vec + BoW，NAD2 + BoW），以利用互补信息。
• 采用源自深度片段嵌入（Deep Fragment Embeddings）的灵活深度嵌入架构，用于多模态对齐。
• 支持有监督设置（使用人工标注属性）和无监督设置（仅使用网络文本）两种场景。

实验结果

研究问题

• RQ1 当缺乏人工标注属性时，是否可以有效利用非结构化网络文本作为零样本学习中的辅助信息？
• RQ2 尽管文本信号较弱，语义部位标注提供的强视觉监督是否能显著提升零样本识别性能？
• RQ3 结合多种语言线索（例如，word2vec、BoW、NAD2）是否能带来优于单一来源的泛化性能？
• RQ4 在训练或推理过程中使用多个视觉部位是否能进一步提升零样本识别性能？

主要发现

• 所提方法仅使用无监督文本嵌入，在CUB数据集上实现了34.7%的新最先进准确率，显著优于先前最先进水平的24.2%。
• 在使用人工标注属性时，该方法达到56.5%的准确率，超过此前最先进水平的50.2%。
• 将NAD2与BoW结合可实现34.3%的准确率，优于各自单独使用，证明了信息互补性的提升。
• 在测试时使用多个视觉部位可将准确率提升至33.9%，表明多部位监督能增强泛化能力。
• 使用多种语言线索（例如，word2vec + BoW）的性能优于单一来源基线，准确率提升最高达8.5个百分点。
• 即使强视觉监督仅在训练阶段使用，该框架仍表现出强大性能，表明其具备鲁棒性和泛化能力。