[论文解读] Learning where to look: Semantic-Guided Multi-Attention Localization for Zero-Shot Learning.

Yizhe Zhu, Jianwen Xie+3 more|arXiv (Cornell University)|Mar 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 14被引用 11

一句话总结

该论文提出了一种语义引导的多注意力定位模型，用于零样本学习，能够自动识别判别性物体部件而无需人工标注。通过联合优化嵌入Softmax损失和类别中心三元组损失，同时学习全局和局部特征，该方法在三个基准数据集上实现了最先进性能，显著增强了类间分离度和类内紧凑性。

ABSTRACT

Zero-shot learning extends the conventional object classification to the unseen class recognition by introducing semantic representations of classes. Existing approaches predominantly focus on learning the proper mapping function for visual-semantic embedding, while neglecting the effect of learning discriminative visual features. In this paper, we study the significance of the discriminative region localization. We propose a semantic-guided multi-attention localization model, which automatically discovers the most discriminative parts of objects for zero-shot learning without any human annotations. Our model jointly learns cooperative global and local features from the whole object as well as the detected parts to categorize objects based on semantic descriptions. Moreover, with the joint supervision of embedding softmax loss and class-center triplet loss, the model is encouraged to learn features with high inter-class dispersion and intra-class compactness. Through comprehensive experiments on three widely used zero-shot learning benchmarks, we show the efficacy of the multi-attention localization and our proposed approach improves the state-of-the-art results by a considerable margin.

研究动机与目标

• 解决现有零样本学习方法仅关注视觉-语义映射而忽视判别性特征学习的局限性。
• 在无需人工标注边界框或部件标注的情况下，自动定位未见类别中最具判别性的物体部件。
• 通过语义监督联合学习全局和局部特征，提升零样本识别性能。
• 通过联合损失优化，增强类间分离度和类内紧凑性，从而提升特征质量。

提出的方法

• 该模型采用多注意力机制，仅使用语义描述从输入图像中自动定位判别性物体部件。
• 联合学习来自完整图像的全局特征和来自检测部件的局部特征，以提升表征质量。
• 框架使用嵌入Softmax损失，将视觉特征与语义嵌入对齐。
• 引入类别中心三元组损失，以在特征空间中强制实现类间分离和类内紧凑。
• 模型通过两个损失函数的联合监督进行端到端训练，以优化判别性特征学习。
• 使用类的语义表征作为监督信号，以引导注意力定位和特征学习。

实验结果

研究问题

• RQ1 无需人工标注部件位置，能否通过自动定位判别性物体部件来提升零样本识别性能？
• RQ2 通过语义监督联合优化全局和局部特征，如何增强零样本学习中的特征判别性？
• RQ3 结合嵌入Softmax损失与类别中心三元组损失，在多大程度上提升了类间分离度和类内紧凑性？
• RQ4 所提方法在标准零样本学习基准上的表现与最先进方法相比如何？

主要发现

• 所提方法在三个广泛使用的零样本学习基准上实现了最先进性能。
• 多注意力定位机制成功识别出判别性部件，且无需任何人工标注的部件注释。
• 联合使用嵌入Softmax损失与类别中心三元组损失，使类内特征更加紧凑，类间分离度更优。
• 该模型在先前方法基础上实现显著性能提升，标准零样本学习数据集上的性能增益已得到报告。