[论文解读] Class label autoencoder for zero-shot learning

Guangfeng Lin, Caixia Fan+3 more|arXiv (Cornell University)|Jan 25, 2018

Domain Adaptation and Few-Shot Learning参考文献 33被引用 4

一句话总结

该论文提出了一种用于零样本学习的类别标签自编码器（CLA），通过编码器-解码器机制统一多语义嵌入空间，并强制实现特征到标签与标签到特征的双向投影。CLA通过联合建模特征-类别关系与语义-类别关系，提升了零样本分类性能，在AwA、CUB、Dogs和ImNet-2数据集上优于当前最先进方法。

ABSTRACT

Existing zero-shot learning (ZSL) methods usually learn a projection function between a feature space and a semantic embedding space(text or attribute space) in the training seen classes or testing unseen classes. However, the projection function cannot be used between the feature space and multi-semantic embedding spaces, which have the diversity characteristic for describing the different semantic information of the same class. To deal with this issue, we present a novel method to ZSL based on learning class label autoencoder (CLA). CLA can not only build a uniform framework for adapting to multi-semantic embedding spaces, but also construct the encoder-decoder mechanism for constraining the bidirectional projection between the feature space and the class label space. Moreover, CLA can jointly consider the relationship of feature classes and the relevance of the semantic classes for improving zero-shot classification. The CLA solution can provide both unseen class labels and the relation of the different classes representation(feature or semantic information) that can encode the intrinsic structure of classes. Extensive experiments demonstrate the CLA outperforms state-of-art methods on four benchmark datasets, which are AwA, CUB, Dogs and ImNet-2.

研究动机与目标

• 为解决现有零样本学习方法无法同时有效处理多个语义嵌入空间的局限性。
• 通过建模视觉特征与类别标签之间的双向关系，克服零样本学习中的域偏移问题。
• 联合建模特征-类别关系、语义-类别相关性以及跨空间交互，以提升对未见类别的泛化能力。
• 提供一个统一框架，可适应多样化的语义表示（如属性、文本嵌入），同时保持内在的类别结构。

提出的方法

• 提出一种类别标签自编码器（CLA），利用编码器-解码器架构在视觉特征与类别标签之间学习共享表示空间。
• 引入双向投影机制：将特征编码到类别标签空间，并解码回特征空间，以确保一致性。
• 通过多语义融合策略，将多个语义嵌入空间（如属性、word2vec、GloVe）融合到统一框架中。
• 通过建模已见类别与未见类别之间的关系实现结构演化，借助关系归纳偏置增强泛化能力。
• 通过迭代优化联合更新编码器、解码器与类别标签表示，以编码内在类别结构。
• 采用约束目标函数求解优化问题，平衡重建损失、结构一致性与语义相关性。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效整合多个语义嵌入空间以实现零样本学习？
• RQ2 双向特征到标签与标签到特征的投影机制如何提升零样本分类性能？
• RQ3 建模类别结构与语义关系在多大程度上能增强对未见类别的泛化能力？
• RQ4 与单语义方法相比，多语义融合在性能与鲁棒性方面表现如何？

主要发现

• 在AwA、CUB和Dogs数据集上，CLA显著优于当前最先进方法，top-1与top-5准确率均有显著提升。
• 在ImNet-2上，CLA表现出微小但一致的性能提升，表明其在大规模、高多样性设置下仍具鲁棒性。
• CLA中的多语义融合策略优于单语义方法，证明了不同语义表示之间具有互补优势。
• 在有监督语义空间（如属性）中，双向约束机制对准确率的贡献小于结构演化机制，但两者结合不可或缺。
• 在CUB数据集的属性空间中，CLA性能与DMaP相当；在无监督语义空间（如word2vec）中则超越DMaP，表明其具备强大泛化能力。
• CLA的计算复杂度为O(d³)，其中d为特征维度，尽管求解复杂的优化方程，但仍具备可扩展性。