[论文解读] An Empirical Study and Analysis of Generalized Zero-Shot Learning for Object Recognition in the Wild

Wei‐Lun Chao, Soravit Changpinyo+2 more|arXiv (Cornell University)|May 13, 2016

Domain Adaptation and Few-Shot Learning参考文献 43被引用 76

一句话总结

本文倡导将广义零样本学习（GZSL）作为物体识别更现实的评估基准，其中测试数据可能来自已见类和未见类。本文提出一种简单的校准方法——校准堆叠（calibrated stacking），以平衡已见类与未见类的识别性能，并引入AUSUC指标来评估这一权衡，表明与理想基准的性能差距较大，凸显了对更优语义嵌入的迫切需求。

ABSTRACT

Zero-shot learning (ZSL) methods have been studied in the unrealistic setting where test data are assumed to come from unseen classes only. In this paper, we advocate studying the problem of generalized zero-shot learning (GZSL) where the test data's class memberships are unconstrained. We show empirically that naively using the classifiers constructed by ZSL approaches does not perform well in the generalized setting. Motivated by this, we propose a simple but effective calibration method that can be used to balance two conflicting forces: recognizing data from seen classes versus those from unseen ones. We develop a performance metric to characterize such a trade-off and examine the utility of this metric in evaluating various ZSL approaches. Our analysis further shows that there is a large gap between the performance of existing approaches and an upper bound established via idealized semantic embeddings, suggesting that improving class semantic embeddings is vital to GZSL.

研究动机与目标

• 为解决传统零样本学习（ZSL）的局限性，即假设测试数据仅来自未见类别，提出更具现实意义的评估设置——广义零样本学习（GZSL）。
• 识别标准ZSL分类器在GZSL设置下的失败原因，即未见类别样本常被错误分类为已见类别。
• 提出一种简单而有效的校准方法——校准堆叠，以平衡识别已见类别与未见类别之间的冲突目标。
• 引入新的评估指标——已见-未见准确率曲线下方面积（AUSUC），以量化已见与未见类别识别性能之间的权衡。
• 通过理想化的基于视觉特征的语义嵌入（G-attr）建立GZSL性能的理论上限，揭示当前方法与最优性能之间存在显著差距。

提出的方法

• 提出校准堆叠方法，引入可学习的校准因子，调整已见类与未见类的分类器得分，以平衡其决策边界。
• 在统一的语义空间中，使用word2vec或从深度网络激活中提取的视觉特征（G-attr）对已见类和未见类进行嵌入。
• 将AUSUC指标定义为在不同置信度阈值下，已见类与未见类准确率曲线下方面积，以评估两者之间的性能权衡。
• 通过平均每类图像的深度特征（来自GoogLeNet）来推导G-attr嵌入，仅使用未见类的标注训练数据计算嵌入，无需训练分类器。
• 通过使用类别代表性视觉特征作为理想语义嵌入，建立GZSL性能的上界，模拟完美的语义对齐。
• 在ImageNet、AwA和CUB数据集上进行广泛的消融实验，比较word2vec与G-attr嵌入的性能，并评估少样本标注场景下的表现。

实验结果

研究问题

• RQ1 为何标准ZSL分类器在广义零样本学习（GZSL）设置下会失败，即当测试数据同时包含已见类与未见类时？
• RQ2 如何有效平衡GZSL中识别已见类与未见类之间的冲突目标？
• RQ3 哪种性能指标最能捕捉GZSL中已见类与未见类识别之间的权衡？
• RQ4 现有ZSL方法在GZSL中能多接近理论性能上限？
• RQ5 视觉特征（G-attr）在多大程度上可改善语义嵌入质量，相较于word2vec？需要多少未见类的标注数据才能缩小性能差距？

主要发现

• 标准ZSL分类器在GZSL中表现失败，由于决策边界存在偏差，几乎所有未见类样本都被错误分类为已见类别。
• 所提出的校准堆叠方法通过平衡已见类与未见类的识别性能，显著提升了GZSL的性能。
• AUSUC指标能有效捕捉已见与未见准确率之间的权衡，支持不同ZSL方法之间的公平比较。
• 使用视觉特征（G-attr）作为语义嵌入，相比word2vec可显著提升GZSL性能，尤其在hit@1指标上，仅用100张图像的G-attr嵌入即可使hit@1性能较word2vec提升逾十倍。
• 当前ZSL方法与使用理想视觉特征嵌入建立的上界之间存在巨大性能差距（AUSUC差距最高达30%），表明语义嵌入质量是主要瓶颈。
• 仅需每未见类100张标注图像，使用G-attr嵌入的GZSL即可实现接近使用每类1000张标注图像的全类别多分类器的AUSUC性能。