[论文解读] Learning the Redundancy-free Features for Generalized Zero-Shot Object Recognition

Zongyan Han, Zhenyong Fu+1 more|arXiv (Cornell University)|Jun 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 55被引用 13

一句话总结

本文提出了一种用于广义零样本物体识别（GZSL）的无冗余特征学习方法，其中视觉特征被投影到一个统计依赖性降低的新空间，以消除无关信息，同时保留具有区分性的类别关系。该方法通过与语义嵌入和特征生成框架相结合，在四个基准数据集上实现了最先进或具有竞争力的性能。

ABSTRACT

Zero-shot object recognition or zero-shot learning aims to transfer the object recognition ability among the semantically related categories, such as fine-grained animal or bird species. However, the images of different fine-grained objects tend to merely exhibit subtle differences in appearance, which will severely deteriorate zero-shot object recognition. To reduce the superfluous information in the fine-grained objects, in this paper, we propose to learn the redundancy-free features for generalized zero-shot learning. We achieve our motivation by projecting the original visual features into a new (redundancy-free) feature space and then restricting the statistical dependence between these two feature spaces. Furthermore, we require the projected features to keep and even strengthen the category relationship in the redundancy-free feature space. In this way, we can remove the redundant information from the visual features without losing the discriminative information. We extensively evaluate the performance on four benchmark datasets. The results show that our redundancy-free feature based generalized zero-shot learning (RFF-GZSL) approach can achieve competitive results compared with the state-of-the-arts.

研究动机与目标

• 为解决广义零样本学习（GZSL）中的细粒度物体识别挑战，其中细微的视觉差异和常见背景会降低性能。
• 在不损失类别级别区分性信号的前提下，减少视觉特征中的冗余信息。
• 开发一种灵活的框架，可与现有的GZSL方法集成，包括语义嵌入和特征生成方法。
• 通过学习一个无冗余的特征空间来提升泛化能力，从而强化类别间关系。

提出的方法

• 学习一个映射函数，将原始视觉特征投影到无冗余特征空间，以最小化原始特征与映射后特征之间的统计依赖性。
• 该方法使用依赖性减少目标（如互信息或其他统计依赖度量）来确保冗余被消除。
• 投影后的特征在新空间中被优化，以保持或增强类别可分性。
• 该方法与GZSL中的语义嵌入和特征生成框架均兼容。
• 在无冗余空间中采用复合特征生成器，为未见类别合成特征。
• 通过组合依赖性减少损失和分类损失，端到端地进行训练，以平衡冗余消除与准确率。

实验结果

研究问题

• RQ1 从视觉特征中去除冗余信息是否能提升广义零样本学习中的性能？
• RQ2 无冗余特征学习对GZSL模型在细粒度数据集上的泛化能力有何影响？
• RQ3 所提出的方法能否有效集成到语义嵌入和特征生成两种GZSL框架中？
• RQ4 所学习的无冗余特征空间是否能实现比原始视觉特征空间更优的未见类别特征分离？
• RQ5 无冗余特征对图像检索和特征分布质量有何影响？

主要发现

• 所提出的无冗余特征方法显著提升了传统语义嵌入模型在GZSL设置下的性能，在AWA和FLO数据集上相比SJE最高提升了15%。
• 当与特征生成方法结合时，该方法在四个基准数据集中的两个上实现了最先进结果，在其余两个上也取得了具有竞争力的性能。
• 使用t-SNE进行可视化显示，无冗余特征空间中未见类别的聚类（如蓝鲸、海豹、海象和海豚）相比原始视觉空间具有更好的分离性。
• 图像检索结果表明，在CUB数据集上，无冗余空间中生成的特征相比f-CLSWGAN生成的特征，能实现更准确的前5名检索结果。
• 该方法在无冗余特征空间的不同维度下均保持强性能，最优结果在1,024维时达到。
• 原始特征与映射后特征之间统计依赖性的降低，有效去除了如常见背景等多余内容，同时保留了细粒度分类所需的区分性线索。