[论文解读] Attribute Propagation Network for Graph Zero-shot Learning

Lu Liu, Tianyi Zhou+3 more|arXiv (Cornell University)|Sep 24, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用 8

一句话总结

该论文提出了一种新型基于图的零样本学习框架——属性传播网络（APNet），通过在类别图上端到端训练传播机制，对类别属性向量进行优化。通过在子图上进行元学习，并结合参数化的最近邻分类器，APNet在CUB、AWA1和AWA2等基于ImageNet的数据集上实现了最先进性能，将未见类别准确率提升最高达3%，H得分提升超过3分。

ABSTRACT

The goal of zero-shot learning (ZSL) is to train a model to classify samples of classes that were not seen during training. To address this challenging task, most ZSL methods relate unseen test classes to seen(training) classes via a pre-defined set of attributes that can describe all classes in the same semantic space, so the knowledge learned on the training classes can be adapted to unseen classes. In this paper, we aim to optimize the attribute space for ZSL by training a propagation mechanism to refine the semantic attributes of each class based on its neighbors and related classes on a graph of classes. We show that the propagated attributes can produce classifiers for zero-shot classes with significantly improved performance in different ZSL settings. The graph of classes is usually free or very cheap to acquire such as WordNet or ImageNet classes. When the graph is not provided, given pre-defined semantic embeddings of the classes, we can learn a mechanism to generate the graph in an end-to-end manner along with the propagation mechanism. However, this graph-aided technique has not been well-explored in the literature. In this paper, we introduce the attribute propagation network (APNet), which is composed of 1) a graph propagation model generating attribute vector for each class and 2) a parameterized nearest neighbor (NN) classifier categorizing an image to the class with the nearest attribute vector to the image's embedding. For better generalization over unseen classes, different from previous methods, we adopt a meta-learning strategy to train the propagation mechanism and the similarity metric for the NN classifier on multiple sub-graphs, each associated with a classification task over a subset of training classes. In experiments with two zero-shot learning settings and five benchmark datasets, APNet achieves either compelling performance or new state-of-the-art results.

研究动机与目标

• 通过在类别图上利用类间关系来优化语义属性向量，以应对零样本学习的挑战。
• 通过在多样化子图上对传播机制和相似性度量进行元学习，提升对未见类别的泛化能力。
• 即使在图结构未预先存在的情况下，也能实现图传播机制和零样本分类器的端到端学习。
• 克服固定、手工设计的属性空间无法捕捉复杂类别关系的局限性。
• 在基于ImageNet的基准测试中，特别是在广义零样本学习（GZSL）和标准ZSL设置下，实现稳健的性能表现。

提出的方法

• APNet采用图传播模型，基于在学习或预定义的类别图中邻近类别来更新类别属性向量。
• 其使用参数化的最近邻（NN）分类器，通过在语义空间中寻找最接近的属性向量来预测图像类别。
• 通过元学习策略进行训练，该策略采样多个子图，每个子图构成一个在部分已见类别上的独立分类任务。
• 通过任务式训练联合优化传播机制和相似性度量，从而增强对未见类别的泛化能力。
• 当未提供图时，该方法可从类别的预定义语义嵌入中端到端学习图结构。
• 图的邻接矩阵可端到端学习，或使用WordNet等分层结构初始化，节点间距离影响边权重。

实验结果

研究问题

• RQ1 通过基于图的传播优化类别属性向量，能否提升零样本分类性能？
• RQ2 在子图上进行元学习是否能增强属性传播机制对未见类别的泛化能力？
• RQ3 与使用WordNet等预定义图相比，端到端学习图结构和传播机制有何优势？
• RQ4 具有学习到的相似性度量的参数化最近邻分类器能否在零样本学习中超越传统基于距离的分类器？
• RQ5 图辅助的属性优化在广义零样本学习中在多大程度上缓解了对已见类别性能的下降？

主要发现

• APNet在五个基准数据集上，包括CUB、AWA1和AWA2，在广义零样本学习（GZSL）和标准ZSL设置下均达到新的最先进性能。
• 在基于ImageNet的数据集上，与先前方法相比，APNet使整体H得分提升超过3分，未见准确率最高提升3%。
• 与标准小批量训练相比，元学习训练策略使未见准确率提升2–3%，H得分提升2–3分。
• 端到端图学习优于使用基于WordNet的层级结构，其中学习到的图在AWA2上达到54.8%的未见准确率，而WordNet为55.7%，但两者均优于非学习基线方法。
• 消融实验表明，仅使用属性传播即可使H得分提升1分以上，证明了类间关系在优化语义属性中的价值。
• 该模型表现出强大的泛化能力，优于DEM和GAFE等基线方法，后者因依赖具有高偏差和非独立同分布特性的视觉空间而泛化能力差。