[论文解读] FREE: Feature Refinement for Generalized Zero-Shot Learning

Shiming Chen, Wenjie Wang+5 more|arXiv (Cornell University)|Jul 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 66被引用 12

一句话总结

该论文提出FREE，一种用于广义零样本学习（GZSL）的新框架，通过引入特征精炼（FR）模块来缓解ImageNet与GZSL基准之间的跨数据集偏差，从而提升视觉特征质量。通过联合优化FR模块与语义到视觉的生成模型，采用自适应边缘中心损失和语义循环一致性损失，FREE在五个基准上均达到最先进性能，显著提升了已见类与未见类的准确率，同时减轻了域偏移效应。

ABSTRACT

Generalized zero-shot learning (GZSL) has achieved significant progress, with many efforts dedicated to overcoming the problems of visual-semantic domain gap and seen-unseen bias. However, most existing methods directly use feature extraction models trained on ImageNet alone, ignoring the cross-dataset bias between ImageNet and GZSL benchmarks. Such a bias inevitably results in poor-quality visual features for GZSL tasks, which potentially limits the recognition performance on both seen and unseen classes. In this paper, we propose a simple yet effective GZSL method, termed feature refinement for generalized zero-shot learning (FREE), to tackle the above problem. FREE employs a feature refinement (FR) module that incorporates extit{semantic$ ightarrow$visual} mapping into a unified generative model to refine the visual features of seen and unseen class samples. Furthermore, we propose a self-adaptive margin center loss (SAMC-loss) that cooperates with a semantic cycle-consistency loss to guide FR to learn class- and semantically-relevant representations, and concatenate the features in FR to extract the fully refined features. Extensive experiments on five benchmark datasets demonstrate the significant performance gain of FREE over its baseline and current state-of-the-art methods. Our codes are available at https://github.com/shiming-chen/FREE .

研究动机与目标

• 为解决ImageNet与GZSL基准之间存在的跨数据集偏差所导致的广义零样本学习（GZSL）性能持续差距。
• 克服直接将ImageNet预训练特征迁移至GZSL数据集所带来的视觉特征质量差和性能不佳的问题。
• 提出一种特征精炼（FR）模块，无需微调即可提升已见类与未见类的视觉特征质量。
• 设计一种自适应边缘中心损失（SAMC-loss）与语义循环一致性损失，引导FR学习具有类别与语义相关性的判别性表征。
• 证明FR可有效减轻域偏移，并在粗粒度与细粒度GZSL基准中提升泛化能力。

提出的方法

• FREE引入一个特征精炼（FR）模块，在统一的生成模型中对已见类与未见类样本的视觉特征进行精炼，从而增强语义到视觉的映射能力。
• FR模块与基础生成模型（如f-VAEGAN）联合优化，避免微调带来的过拟合与性能下降问题。
• 提出一种自适应边缘中心损失（SAMC-loss），以动态适应不同数据集，强制实现类内紧凑性与类间可分性。
• 在特征重建后应用语义循环一致性损失，确保精炼后的特征保留语义关系，并提升与原始语义的一致性。
• 通过拼接FR模块多层输出的精炼特征，获得最终的完整精炼多层级表征，用于分类任务。
• 整个框架端到端训练，使FR模块在无额外监督的情况下学习到具有判别性、类别特异且语义对齐的视觉特征。

实验结果

研究问题

• RQ1 ImageNet与GZSL基准之间的跨数据集偏差如何影响零样本学习中的视觉特征质量与识别性能？
• RQ2 是否可通过特征精炼模块在不进行微调的情况下提升视觉特征质量，从而减轻域偏移并改善泛化能力？
• RQ3 自适应边缘中心损失与语义循环一致性损失在多大程度上能增强GZSL中精炼特征的判别能力？
• RQ4 所提出的FR模块是否在粗粒度与细粒度GZSL基准中均能实现一致的性能提升？
• RQ5 与微调方法及当前最先进GZSL方法相比，该方法在已见类、未见类及调和平均准确率上的表现如何？

主要发现

• 在FLO数据集上，FREE实现75.0%的调和平均准确率，在AWA2上达到67.1%，优于基线f-VAEGAN（64.6%与63.5%），甚至超过微调后的f-VAEGAN（75.1%与65.2%）在两个基准上的表现。
• 在细粒度CUB数据集上，FREE实现75.0%的调和平均准确率，显著优于基线f-VAEGAN（64.6%），并展现出对高跨数据集偏差的强鲁棒性。
• 特征精炼模块降低了类间模糊性，可视化结果表明特征聚类更清晰，合成的未见类特征在类别关系上与真实未见类特征高度一致。
• 该方法对每类合成视觉特征的数量具有鲁棒性，最优性能出现在N_syn = 4600（FLO, AWA1）、2400（FLO）、700（CUB）与300（SUN），表明其在不同数据集上均具备良好泛化能力。
• 损失函数中的平衡因子γ表明，增强类内紧凑性对细粒度数据集（如CUB）有益，而增强类间可分性则更有利于粗粒度数据集（如AWA2），验证了SAMC-loss的自适应能力。
• 消融实验表明，SAMC-loss与循环一致性损失均对性能提升至关重要，任一组件的移除均导致准确率显著下降。