[论文解读] Isometric Propagation Network for Generalized Zero-shot Learning

Lu Liu, Tianyi Zhou+4 more|arXiv (Cornell University)|Feb 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 56被引用 11

一句话总结

本文提出等距传播网络（IPN），一种用于广义零样本学习的新框架，通过基于动态等距图的传播机制，增强视觉空间与语义空间之间的类别表征对齐。通过在两个空间中学习注意力驱动的类别图，并在传播步骤中强制边权重的等距一致性，IPN在多个基准数据集上实现最先进性能，包括具有多样化未见类别的新型大规模数据集。

ABSTRACT

Zero-shot learning (ZSL) aims to classify images of an unseen class only based on a few attributes describing that class but no access to any training sample. A popular strategy is to learn a mapping between the semantic space of class attributes and the visual space of images based on the seen classes and their data. Thus, an unseen class image can be ideally mapped to its corresponding class attributes. The key challenge is how to align the representations in the two spaces. For most ZSL settings, the attributes for each seen/unseen class are only represented by a vector while the seen-class data provide much more information. Thus, the imbalanced supervision from the semantic and the visual space can make the learned mapping easily overfitting to the seen classes. To resolve this problem, we propose Isometric Propagation Network (IPN), which learns to strengthen the relation between classes within each space and align the class dependency in the two spaces. Specifically, IPN learns to propagate the class representations on an auto-generated graph within each space. In contrast to only aligning the resulted static representation, we regularize the two dynamic propagation procedures to be isometric in terms of the two graphs' edge weights per step by minimizing a consistency loss between them. IPN achieves state-of-the-art performance on three popular ZSL benchmarks. To evaluate the generalization capability of IPN, we further build two larger benchmarks with more diverse unseen classes and demonstrate the advantages of IPN on them.

研究动机与目标

• 解决由于视觉空间与语义空间之间监督不平衡导致的过拟合问题。
• 通过在视觉与语义空间内部及之间学习动态关系结构，提升对未见类别的泛化能力。
• 通过传播过程的等距正则化，增强视觉与语义空间之间的表征对齐。
• 在标准ZSL数据集之外，评估模型在更大规模、更多样化基准上的泛化性能。

提出的方法

• IPN使用可学习注意力模块在视觉与语义空间中构建类别图，以建模类别间关系。
• 在这些图上执行迭代消息传递（传播）以动态优化类别原型。
• 引入一致性损失，以在每个传播步骤中强制两个图的注意力加权边分布之间实现等距对齐。
• 采用元训练策略，通过随机采样子集的已见类别来多样化图结构，提升模型鲁棒性。
• 学习视觉与语义双原型，并联合优化以提升泛化能力与表征质量。
• 端到端训练框架结合交叉熵损失与一致性正则化，以平衡已见类与未见类的性能。

实验结果

研究问题

• RQ1 通过建模空间内类别依赖关系，动态图传播是否能提升零样本泛化性能？
• RQ2 在视觉与语义空间传播步骤中强制实施等距一致性，是否能带来更好的对齐与泛化效果？
• RQ3 IPN在包含更具挑战性的未见类别的大规模、多样化基准上表现如何？
• RQ4 双原型与元训练策略对模型鲁棒性与性能的贡献分别是什么？

主要发现

• IPN在三个标准ZSL基准（AWA2、CUB、aPY）上实现最先进性能，取得最高的调和平均准确率。
• 在新构建的分层ImageNet-Mixed与分层ImageNet-Segregated基准上，IPN保持最先进性能，展现出对多样化未见类别的强大泛化能力。
• 消融实验表明，双空间传播相比单空间传播，将未见类别准确率提升2–3%，同时保持强已见类别性能。
• 采用等距对齐的一致性损失显著优于共享注意力模块或无对齐设置，有效缓解了已见类的过拟合。
• 仅使用视觉原型的IPN收敛更快（30轮），而仅使用语义原型则需200轮，表明预训练CNN为视觉表征提供了稳定的归纳偏置。
• 超参数分析显示，传播步数τ=2时性能最优，而权重衰减高度敏感，与先前ZSL研究结果一致。