[论文解读] Multi-Label Zero-Shot Learning via Concept Embedding

Ubai Sandouk, Ke Chen|arXiv (Cornell University)|Jun 1, 2016

Domain Adaptation and Few-Shot Learning参考文献 5被引用 15

一句话总结

本文提出了一种基于公开用户多媒体注释生成的概念嵌入的多标签零样本学习框架。通过将输入特征映射到共享的概念嵌入空间，该模型能够对已见和未见标签进行分类——在无需微调的情况下处理词汇表外标签——在图像和音乐曲目数据集上实现了最先进性能。

ABSTRACT

Zero Shot Learning (ZSL) enables a learning model to classify instances of an unseen class during training. While most research in ZSL focuses on single-label classification, few studies have been done in multi-label ZSL, where an instance is associated with a set of labels simultaneously, due to the difficulty in modeling complex semantics conveyed by a set of labels. In this paper, we propose a novel approach to multi-label ZSL via concept embedding learned from collections of public users' annotations of multimedia. Thanks to concept embedding, multi-label ZSL can be done by efficiently mapping an instance input features onto the concept embedding space in a similar manner used in single-label ZSL. Moreover, our semantic learning model is capable of embedding an out-of-vocabulary label by inferring its meaning from its co-occurring labels. Thus, our approach allows both seen and unseen labels during the concept embedding learning to be used in the aforementioned instance mapping, which makes multi-label ZSL more flexible and suitable for real applications. Experimental results of multi-label ZSL on images and music tracks suggest that our approach outperforms a state-of-the-art multi-label ZSL model and can deal with a scenario involving out-of-vocabulary labels without re-training the semantics learning model.

研究动机与目标

• 解决多标签零样本学习中的挑战，即实例同时关联多个标签。
• 克服在零样本场景中建模多个标签之间复杂语义关系的困难。
• 在不微调语义模型的前提下，实现对未见和词汇表外标签的有效分类。
• 利用公开可用的用户注释，学习鲁棒且可迁移的概念嵌入，以支持多标签预测。
• 构建一个统一框架，通过嵌入空间映射，将多标签 ZSL 与单标签 ZSL 视为相似任务。

提出的方法

• 从多媒体数据的公开用户注释集合中学习概念嵌入，捕捉概念之间的语义关系。
• 使用投影函数将输入实例特征映射到概念嵌入空间，类似于单标签 ZSL 的方法。
• 在推理过程中，利用用户注释中标签的共现模式，推断词汇表外标签的语义。
• 在已见标签上训练语义模型，并通过嵌入插值扩展其能力，以泛化到未见标签。
• 在概念嵌入空间中应用最近邻或基于打分的分类方法，为每个实例预测多个标签。
• 通过共享嵌入空间中的语义相似性，利用已见与未见标签之间的相似性，确保零样本泛化能力。

实验结果

研究问题

• RQ1 来自用户生成注释的概念嵌入能否有效支持多标签零样本学习？
• RQ2 该模型在训练期间未出现的未见标签上泛化能力如何？
• RQ3 该模型能否在不重新训练或微调的情况下处理词汇表外标签？
• RQ4 所提出的方法是否在多标签 ZSL 任务中优于现有最先进模型？
• RQ5 利用标签共现模式推断罕见或未见标签语义的效率如何？

主要发现

• 所提方法在图像和音乐曲目数据集上均优于最先进多标签 ZSL 模型。
• 通过利用概念嵌入空间中的语义相似性，该模型成功对包含未见标签的实例进行分类。
• 得益于基于共现的推理机制，词汇表外标签在不重新训练语义模型的情况下得到有效处理。
• 利用公开用户注释使得在极少监督下实现鲁棒且可扩展的概念嵌入学习成为可能。
• 该框架在多种数据模态（包括视觉和音频输入）上均保持强劲性能。
• 实证结果证实，概念嵌入能够实现零样本场景下高效且准确的多标签预测。