[论文解读] Learning Conditional Attributes for Compositional Zero-Shot Learning

Qingsheng Wang, Lingqiao Liu+5 more|arXiv (Cornell University)|May 29, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了一种条件属性网络（CANet）用于组合零样本学习，通过同时基于识别出的物体和输入图像来学习属性嵌入，解决了不同物体间属性多样性的问题。通过引入属性超网络和基础学习器，CANet生成灵活且具备上下文感知能力的属性表征，在C-GQA等组合零样本学习基准上实现了最先进性能。

ABSTRACT

Compositional Zero-Shot Learning (CZSL) aims to train models to recognize novel compositional concepts based on learned concepts such as attribute-object combinations. One of the challenges is to model attributes interacted with different objects, e.g., the attribute ``wet" in ``wet apple" and ``wet cat" is different. As a solution, we provide analysis and argue that attributes are conditioned on the recognized object and input image and explore learning conditional attribute embeddings by a proposed attribute learning framework containing an attribute hyper learner and an attribute base learner. By encoding conditional attributes, our model enables to generate flexible attribute embeddings for generalization from seen to unseen compositions. Experiments on CZSL benchmarks, including the more challenging C-GQA dataset, demonstrate better performances compared with other state-of-the-art approaches and validate the importance of learning conditional attributes. Code is available at https://github.com/wqshmzh/CANet-CZSL

研究动机与目标

• 为解决组合零样本学习中的属性多样性挑战，即同一属性（如‘wet’）在与不同物体组合时（如‘wet apple’与‘wet cat’）表现不同。
• 通过将属性表征条件化于识别出的物体和输入图像特征，建模属性与物体之间的上下文关联性。
• 通过学习动态、上下文相关的属性嵌入而非静态、与物体无关的表征，提升对未见属性-物体组合的泛化能力。
• 通过在标准CZSL基准（包括C-GQA）上进行大量实验与消融研究，验证条件属性学习的有效性。

提出的方法

• 该方法将属性与物体识别的联合概率分解为基于输入图像、物体嵌入和视觉特征的条件分量，从而证明条件属性学习的必要性。
• 引入属性超网络，基于识别出的物体和输入图像的视觉嵌入所蕴含的先验知识，生成属性基础学习器的参数。
• 属性基础学习器利用超网络的输出，将固定的属性词嵌入转换为针对当前物体和图像上下文定制的条件属性嵌入。
• 通过输入图像嵌入与所有条件属性嵌入之间的余弦相似度计算分类logits。
• 模型还将属性和物体词嵌入进行组合，并利用其与投影图像特征的余弦相似度预测组合结果，增强上下文感知分类能力。
• 加权损失函数结合了属性、物体和组合分类头，其中超参数α用于平衡各组件的贡献。

Figure 1 : The diagram of our work. We aim to learn conditional attributes conditioned on the recognized object and input image through an attribute learning framework containing an attribute hyper learner and an attribute base learner. We first recognize the object in the input image. Then, we feed

实验结果

研究问题

• RQ1 将属性建模为同时依赖于识别出的物体和输入图像，是否能提升组合零样本学习中的泛化能力？
• RQ2 与传统的静态属性嵌入方法相比，该条件属性学习框架在零样本泛化性能上表现如何？
• RQ3 将图像视觉特征引入属性超网络，对模型泛化能力和鲁棒性有何影响？
• RQ4 所提出框架的不同组件（如超网络、基础学习器、组合嵌入）对已见和未见组合的性能贡献如何？
• RQ5 损失函数中的加权因子α在属性、物体和组合分类之间实现了怎样的最优权衡？

主要发现

• CANet在C-GQA基准上实现了最先进性能，表明其在未见属性-物体组合上的泛化能力优于现有方法。
• 消融研究显示，若移除属性超网络或图像视觉嵌入作为条件输入，性能显著下降，证实了上下文感知属性学习的重要性。
• 在UT-Zappos50K上最优的α为0.5，在MIT-States上为0.1，在C-GQA上为0.3，表明建模属性与物体之间的上下文关联性比独立分类更具优势。
• 使用条件属性嵌入时，模型在未见组合上的泛化能力得到提升，当α设置为各数据集的最优值时，未见准确率最高。
• 对变体（3）–（6）的消融分析表明，包含所有组件（G、H、P和x在β中）的完整框架对最优性能至关重要，尤其在处理复杂、长尾分布的属性时表现更优。

Figure 2 : Structure of our proposed CANet. The symbol $\bigoplus$ is channel-wise concatenation. The mapping networks $\mathcal{\omega}_{o}$ , $\mathcal{\omega}_{a}$ , and $\mathcal{\omega}_{c}$ map the input image embedding $\boldsymbol{\mathrm{x}}$ into object, attribute, and composition spaces $