[论文解读] Attribute Prototype Network for Zero-Shot Learning

Wenjia Xu, Yongqin Xian+3 more|arXiv (Cornell University)|Aug 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用 8

一句话总结

本文提出属性原型网络（APN），一种弱监督框架，通过联合学习全局和局部图像特征，实现基于属性回归与去相关性的零样本学习性能提升。仅使用类别级属性，APN在CUB、AWA2和SUN基准上均达到最先进性能，且无需部件标注即可实现精确的属性定位。

ABSTRACT

From the beginning of zero-shot learning research, visual attributes have been shown to play an important role. In order to better transfer attribute-based knowledge from known to unknown classes, we argue that an image representation with integrated attribute localization ability would be beneficial for zero-shot learning. To this end, we propose a novel zero-shot representation learning framework that jointly learns discriminative global and local features using only class-level attributes. While a visual-semantic embedding layer learns global features, local features are learned through an attribute prototype network that simultaneously regresses and decorrelates attributes from intermediate features. We show that our locality augmented image representations achieve a new state-of-the-art on three zero-shot learning benchmarks. As an additional benefit, our model points to the visual evidence of the attributes in an image, e.g. for the CUB dataset, confirming the improved attribute localization ability of our image representation.

研究动机与目标

• 通过在无部件标注的情况下实现属性定位，提升零样本学习中图像表征的局部性。
• 解决属性间相关性（如黄色冠羽与黄色腹部）导致模型依赖共现模式而非真实视觉特征的问题。
• 构建一种仅使用类别级属性及其语义相关性作为监督信号的弱监督表征学习框架。
• 通过学习到的注意力图突出显示图像中与属性相关的视觉证据，提升模型可解释性。
• 在零样本学习与广义零样本学习设置下，持续优于现有方法。

提出的方法

• 提出属性原型网络（APN），从中间卷积神经网络特征回归视觉属性，以学习局部化且具有判别性的表征。
• 引入去相关损失，降低属性原型之间的统计依赖性，缓解训练数据中的虚假相关性。
• 通过视觉-语义嵌入层学习全局图像特征，而APN则通过中间层监督学习局部特征。
• 仅使用类别级属性及其语义相关性作为监督信号，端到端训练模型，无需人工标注的局部属性关联。
• 在训练过程中利用属性间的语义相关性，引导模型区分共现但语义不同的属性。
• 从学习到的属性原型生成注意力图，以可视化并解释模型在属性预测时对图像相关区域的关注。

实验结果

研究问题

• RQ1 仅使用类别级属性的弱监督表征学习框架是否能提升零样本学习中的属性定位性能？
• RQ2 对属性原型进行去相关处理如何影响模型在新类别中未见属性组合上的泛化能力？
• RQ3 在无部件标注的情况下，模型在多大程度上仍能实现准确且可解释的属性定位？
• RQ4 所提方法是否在零样本学习与广义零样本学习基准上均优于现有最先进模型？
• RQ5 当使用二值属性而非连续属性时，模型是否仍能有效泛化，从而降低标注成本？

主要发现

• APN模型在CUB、AWA2和SUN三个主要零样本学习基准上，均在零样本学习与广义零样本学习设置下达到最先进性能。
• 在CUB数据集上，APN模型使用连续属性时达到52.8%的部件定位准确率，使用二值属性时达到52.1%，表明对属性标注类型具有鲁棒性。
• 模型在部件检测任务上优于近期弱监督定位方法，证实其具备更强的局部性与泛化能力。
• 使用连续属性时，模型在已见类别上的属性预测准确率达86.4%，在未见类别上达85.7%，表明对新属性组合具有强大泛化能力。
• 定性分析显示，APN模型生成的注意力图能准确突出相关鸟类部位（如胸部、头部、翅膀），证实其可解释性与属性定位能力的提升。
• 模型在二值属性上泛化良好，已见类别上的属性预测准确率达86.8%，与连续属性下的86.4%性能相当。