[论文解读] Love Thy Neighbors: Image Annotation by Exploiting Image Metadata

Justin Johnson, Lamberto Ballan+1 more|arXiv (Cornell University)|Aug 30, 2015

Image Retrieval and Classification Techniques参考文献 42被引用 48

一句话总结

本文提出了一种非参数化方法，利用图像元数据（如用户标签、组和集合）构建相关图像的语义邻域，进而通过深度神经网络增强多标签图像标注。该模型在 NUS-WIDE 上取得了最先进性能，并在训练与测试词汇完全不相交以及不同类型的元数据上表现出稳健的泛化能力。

ABSTRACT

Some images that are difficult to recognize on their own may become more clear in the context of a neighborhood of related images with similar social-network metadata. We build on this intuition to improve multilabel image annotation. Our model uses image metadata nonparametrically to generate neighborhoods of related images using Jaccard similarities, then uses a deep neural network to blend visual information from the image and its neighbors. Prior work typically models image metadata parametrically, in contrast, our nonparametric treatment allows our model to perform well even when the vocabulary of metadata changes between training and testing. We perform comprehensive experiments on the NUS-WIDE dataset, where we show that our model outperforms state-of-the-art methods for multilabel image annotation even when our model is forced to generalize to new types of metadata.

研究动机与目标

• 通过利用图像元数据中的上下文信息来提升多标签图像标注性能。
• 解决参数化模型在训练与测试阶段元数据词汇发生变化时失效的局限性。
• 在推理过程中实现对不同类型元数据（例如标签、组、集合）的泛化能力。
• 即使在训练与测试的元数据词汇完全不相交的情况下，仍保持高性能。

提出的方法

• 通过元数据（如用户标签、组、集合）的 Jaccard 相似度，非参数化地构建图像邻域。
• 一个深度卷积神经网络融合目标图像及其基于元数据的邻域的视觉特征。
• 模型学习注意力权重，根据置信度和一致性动态平衡对图像及其邻域的依赖程度。
• 仅使用元数据构建邻域，避免对元数据语义进行参数化建模。
• 该方法对元数据类型保持不变，支持跨类型泛化（例如：在标签上训练，在集合上测试）。
• 通过消融实验分析超参数敏感性，表明对邻域大小和排序具有鲁棒性。

实验结果

研究问题

• RQ1 能否非参数化地利用图像元数据构建有意义的图像邻域，从而提升多标签标注性能？
• RQ2 在一种元数据类型上训练的模型是否能在测试时泛化到不同类型的元数据？
• RQ3 当训练与测试的元数据词汇完全不相交时，模型性能如何？
• RQ4 该模型是否在多标签图像标注任务上优于最先进方法，尤其是在分布偏移情况下？

主要发现

• 在 NUS-WIDE 上，使用用户标签构建邻域时，模型在 mAP L 上达到 52.78 ± 0.34 的最先进性能。
• 即使训练与测试标签词汇重叠为 0%，该模型仍优于仅使用视觉信息的基线模型（45.78 ± 0.34）以及 McAuley & Leskovec 的方法。
• 当在标签上训练、在集合上测试时，模型达到 52.21 ± 0.29 的 mAP L，优于仅使用视觉信息的基线模型。
• 模型在元数据类型之间具有泛化能力：在训练时使用标签、测试时使用组，仍达到 50.32 ± 0.28 的 mAP L，高于仅使用视觉信息的基线。
• 随着标签词汇重叠度降低，性能逐渐下降，但在 0% 重叠时仍保持强劲表现。
• 邻域大小的影响微乎其微——性能在第 10 个邻近样本后趋于稳定，表明对邻域排序具有鲁棒性。