[论文解读] Global Semantic Consistency for Zero-Shot Learning

Fan Wu, Kai Tian+2 more|arXiv (Cornell University)|Jun 22, 2018

Domain Adaptation and Few-Shot Learning参考文献 29被引用 3

一句话总结

本文提出全局语义一致性网络（GSC-Net），一种用于零样本学习的端到端深度学习框架，通过在最后的全连接层中引入全局一致性正则化，同时利用已见类和未见类的语义嵌入。通过整合软标签嵌入损失和参数化的新颖性检测机制，GSC-Net在三个视觉属性数据集上的零样本学习（ZSL）和广义零样本学习（GZSL）基准测试中均达到最先进性能，显著提升了对未见类别的泛化能力。

ABSTRACT

In image recognition, there are many cases where training samples cannot cover all target classes. Zero-shot learning (ZSL) utilizes the class semantic information to classify samples of the unseen categories that have no corresponding samples contained in the training set. In this paper, we propose an end-to-end framework, called Global Semantic Consistency Network (GSC-Net for short), which makes complete use of the semantic information of both seen and unseen classes, to support effective zero-shot learning. We also adopt a soft label embedding loss to further exploit the semantic relationships among classes. To adapt GSC-Net to a more practical setting, Generalized Zero-shot Learning (GZSL), we introduce a parametric novelty detection mechanism. Our approach achieves the state-of-the-art performance on both ZSL and GZSL tasks over three visual attribute datasets, which validates the effectiveness and advantage of the proposed framework.

研究动机与目标

• 为解决现有ZSL方法在训练过程中未能有效利用已见类和未见类语义信息的局限性。
• 通过在卷积神经网络的最后全连接层中强制实施全局语义一致性，提升零样本泛化能力。
• 通过引入建模类别间语义关系的软标签嵌入损失，增强特征学习。
• 通过可学习的新颖性检测机制，实现对广义零样本学习（GZSL）设置的有效适应。
• 验证将最后的全连接层权重用作所有类别语义嵌入的有效性。

提出的方法

• GSC-Net通过将最后全连接层的权重固定为类别属性矩阵，引入全局语义一致性正则化，实现在完整语义监督下的端到端训练。
• 该框架采用神经加权单元，在全局语义约束下增强特征学习。
• 引入软标签嵌入损失以建模类别间的语义关系，其中超参数α控制对未见类别的监督强度。
• 提出一种参数化的新颖性检测机制用于GZSL，利用可学习阈值γ区分已见类与未见类的预测。
• 在训练过程中，使用所有类别（已见和未见）的交叉熵损失进行模型训练，从而在ZSL和GZSL设置下实现一致的推理。
• 通过CIFAR-100上的t-SNE可视化，实证验证了最后全连接层权重作为有效语义嵌入。

实验结果

研究问题

• RQ1 在最后全连接层中强制实施全局语义一致性是否能提升零样本泛化能力？
• RQ2 整合软标签嵌入损失如何增强对未见类别的知识迁移？
• RQ3 可学习的新颖性检测机制是否能有效平衡GZSL中已见类与未见类的性能？
• RQ4 最后全连接层的权重矩阵是否为类别语义嵌入的有效且合理的表示？
• RQ5 所提出的端到端框架是否在ZSL和GZSL基准测试中均优于现有最先进方法？

主要发现

• GSC-Net-SLE-PND在CUB、SUN和AWA2三个数据集上，ZSL和GZSL任务均达到最先进性能。
• 在CUB数据集上，GZSL的调和平均数（H）得分从34.4%提升至55.4%，表明已见类与未见类性能之间具有极佳的平衡性。
• 在具有高度类别分布不平衡的AWA2数据集上，GSC-Net-SLE-PND显著优于所有基线模型，尤其在未见类准确率方面表现突出。
• t-SNE可视化结果表明，最后全连接层的权重形成了一个有意义的语义空间，语义上相似的类别在空间中彼此靠近。
• 模型在20个训练周期内即达到高准确率，且泛化性能与验证准确率高度相关，支持采用早停策略。
• 该框架与标准监督学习一致，无需架构修改即可无缝集成新的未见样本进入训练。