[论文解读] Context-Aware Zero-Shot Learning for Object Recognition

Éloi Zablocki, Patrick Bordes+3 more|arXiv (Cornell University)|Apr 24, 2019

Domain Adaptation and Few-Shot Learning被引用 16

一句话总结

本文提出了一种上下文感知的零样本学习（ZSL）方法，通过将图像中共同出现的物体所构成的视觉上下文整合进概率框架，以提升对未见类别的物体识别性能。通过使用词嵌入和专用先验组件建模给定上下文下物体的条件似然，该方法在目标域上相比标准ZSL实现了22%的相对性能提升，在源域上实现了32%的相对提升，展现出对类别不平衡的鲁棒性，并在Visual Genome数据集上取得了显著性能增益。

ABSTRACT

Zero-Shot Learning (ZSL) aims at classifying unlabeled objects by leveraging auxiliary knowledge, such as semantic representations. A limitation of previous approaches is that only intrinsic properties of objects, e.g. their visual appearance, are taken into account while their context, e.g. the surrounding objects in the image, is ignored. Following the intuitive principle that objects tend to be found in certain contexts but not others, we propose a new and challenging approach, context-aware ZSL, that leverages semantic representations in a new way to model the conditional likelihood of an object to appear in a given context. Finally, through extensive experiments conducted on Visual Genome, we show that contextual information can substantially improve the standard ZSL approach and is robust to unbalanced classes.

研究动机与目标

• 解决传统ZSL方法仅依赖内在视觉特征、忽略物体间上下文关系的局限性。
• 探究场景中物体共现的语义表征是否能超越视觉外观本身，提升零样本泛化能力。
• 设计一种概率模型，将视觉、上下文和先验组件分离，以提升可解释性并增强对类别不平衡的鲁棒性。
• 在富含上下文信息的标注数据集（如Visual Genome）上评估该方法，以验证上下文在ZSL中的作用。
• 证明当视觉特征模糊或具有误导性时，上下文信息可引导预测。

提出的方法

• 该方法将识别物体的概率建模为三个分量的乘积：视觉似然、上下文似然以及估计物体频率的先验分量。
• 上下文似然通过场景中共同出现物体的词嵌入计算，这些词嵌入源自文本知识，用于估计给定上下文下物体的条件概率。
• 模型采用概率框架，最终预测为视觉、上下文和先验分量的加权组合，从而实现可解释性，并有效处理类别不平衡问题。
• 提出一种新颖的采样策略，以平衡先验和上下文分量的贡献，提升在长尾分布上的泛化能力。
• 该方法在Visual Genome数据集上进行评估，该数据集提供丰富的场景级标注信息，包括物体边界框和关系，支持上下文建模。
• 该方法利用预训练的词嵌入（如GloVe或类似模型）来表征物体类别及其共现实体之间的语义关系。

实验结果

研究问题

• RQ1 视觉上下文（即场景中共同出现的物体）是否能超越内在视觉特征，提升零样本识别性能？
• RQ2 在ZSL中，引入上下文信息如何影响模型在长尾和不平衡数据集上的性能表现？
• RQ3 在何种情况下，上下文信息会降低性能？哪些因素会影响其有效性？
• RQ4 文本语义表征在多大程度上可用于建模ZSL中的上下文似然？
• RQ5 将先验、视觉和上下文分量分离，如何提升模型的可解释性和鲁棒性？

主要发现

• 上下文感知ZSL模型在目标域相比标准ZSL实现了22%的相对性能提升，在源域实现了32%的相对提升，表现出显著的性能增益。
• 该模型在源域上优于True Prior和Visual Bayes等基线方法，尽管Oracle基线在目标域仍表现更优，表明上下文词嵌入仍有改进空间。
• 对于“player”、“handle”和“flower”等具有特定上下文约束的物体，上下文信息显著提升了预测性能，因为仅靠视觉特征时存在歧义。
• 对于“house”和“dirt”等通用或上下文多变的物体，上下文信息可能降低性能，因上下文变异性高，导致上下文多样性与性能增益之间呈现负相关（ρ = -0.31）。
• 定性分析表明，上下文分量可纠正视觉分量的错误——例如，当“flower”因视觉线索差而被错误分类时，来自“vase”、“grass”和“stems”的上下文信息可帮助其重新排到最高预测位置。
• 先验与上下文分量的分离使得模型能更好地处理类别不平衡问题，其中先验分量负责物体频率，而上下文分量捕捉关系线索。