[论文解读] VGSE: Visually-Grounded Semantic Embeddings for Zero-Shot Learning

Wenjia Xu, Yongqin Xian+3 more|arXiv (Cornell University)|Mar 20, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出视觉对齐语义嵌入（VGSE），一种自监督方法，通过基于视觉相似性的局部图像块聚类，发现具有判别性且人类可解释的语义嵌入，而无需人工标注属性。该方法在AWA2数据集上实现了66.7%的零样本学习（ZSL）准确率，优于词嵌入甚至人工标注属性，通过学习的视觉聚类和类别关系建模，展现出更优的零样本泛化能力。

ABSTRACT

Human-annotated attributes serve as powerful semantic embeddings in zero-shot learning. However, their annotation process is labor-intensive and needs expert supervision. Current unsupervised semantic embeddings, i.e., word embeddings, enable knowledge transfer between classes. However, word embeddings do not always reflect visual similarities and result in inferior zero-shot performance. We propose to discover semantic embeddings containing discriminative visual properties for zero-shot learning, without requiring any human annotation. Our model visually divides a set of images from seen classes into clusters of local image regions according to their visual similarity, and further imposes their class discrimination and semantic relatedness. To associate these clusters with previously unseen classes, we use external knowledge, e.g., word embeddings and propose a novel class relation discovery module. Through quantitative and qualitative evaluation, we demonstrate that our model discovers semantic embeddings that model the visual properties of both seen and unseen classes. Furthermore, we demonstrate on three benchmarks that our visually-grounded semantic embeddings further improve performance over word embeddings across various ZSL models by a large margin.

研究动机与目标

• 解决零样本学习中人工标注属性带来的高成本与可扩展性有限的问题。
• 发现能够捕捉判别性视觉特征且无需人工监督的语义嵌入。
• 通过学习在已见与未见类别间共享的视觉聚类，提升零样本泛化能力。
• 利用外部知识与视觉聚类，建模已见与未见类别之间的语义关系。
• 构建既视觉对齐又语义有意义的嵌入，以实现更优的知识迁移。

提出的方法

• 图像块聚类（PC）模块基于视觉相似性，从已见类别的局部图像块中学习视觉聚类。
• 模型在学习到的聚类内强制实现类别判别性与语义相关性，以提升特征质量。
• 类别关系（CR）模块利用外部知识（如词嵌入）与学习到的类别关系，预测未见类别的嵌入。
• 采用t-SNE可视化分析聚类结构及跨类别的语义一致性。
• 通过用户研究评估所发现聚类在视觉与语义一致性方面相对于k-means基线的表现。
• 该框架仅使用已见类别的类别标签进行端到端训练，无需任何属性标注。

实验结果

研究问题

• RQ1 基于图像块的视觉聚类能否发现可泛化到未见类别的语义嵌入？
• RQ2 所学习的视觉聚类是否包含人类标注属性未能捕捉的一致性视觉与语义特征？
• RQ3 视觉对齐的嵌入能否在零样本分类任务中超越无监督词嵌入与人工标注属性？
• RQ4 所发现的嵌入在零样本学习（ZSL）与通用零样本学习（GZSL）设置下，跨类别知识迁移效果如何？
• RQ5 所学习的聚类是否对人类观察者具有可解释性与语义意义？

主要发现

• VGSE在AWA2数据集上实现66.7%的ZSL准确率，超过人工标注属性（62.8%），并在五种SOTA模型上均优于词嵌入。
• 在AWA2、CUB和SUN三个基准上，该方法在所有任务中均显著优于词嵌入。
• 88.5%的用户认为VGSE聚类具有一致的视觉属性，高于k-means的71.5%，证实其视觉一致性更优。
• 87.0%的用户认为VGSE聚类传递了一致的语义信息，高于k-means的71.0%，表明其语义对齐性更优。
• 聚类发现了细粒度视觉属性，如毛发图案、角、笼子等，这些常被人工标注属性所忽略。
• 定性分析表明，聚类能基于共享视觉特征（如白色毛发或条纹纹理）将来自多个类别的图像分组，即使跨越已见与未见类别。