[论文解读] Learning Image Conditioned Label Space for Multilabel Classification

Yinan Li, Mei-Chen Yeh|arXiv (Cornell University)|Feb 21, 2018

Image Retrieval and Classification Techniques参考文献 28被引用 3

一句话总结

本文提出了一种新颖的图像依赖型排序模型，用于多标签图像分类，该模型从图像学习一个变换矩阵，将词向量映射到k维空间，从而实现相关标签的有效排序。与传统CNN学习图像表征不同，该方法学习一种变换以区分相关与无关标签，在NUS-WIDE基准上仅使用较少的训练图像即实现了最先进性能。

ABSTRACT

This work addresses the task of multilabel image classification. Inspired by the great success from deep convolutional neural networks (CNNs) for single-label visual-semantic embedding, we exploit extending these models for multilabel images. Specifically, we propose an image-dependent ranking model, which returns a ranked list of labels according to its relevance to the input image. In contrast to conventional CNN models that learn an image representation (i.e. the image embedding vector), the developed model learns a mapping (i.e. a transformation matrix) from an image in an attempt to differentiate between its relevant and irrelevant labels. Despite the conceptual simplicity of our approach, experimental results on a public benchmark dataset demonstrate that the proposed model achieves state-of-the-art performance while using fewer training images than other multilabel classification methods.

研究动机与目标

• 为解决多标签图像分类中的挑战，即图像可能包含多个语义相关或独立的标签，且存在复杂的共现依赖关系。
• 克服现有基于CNN的模型在可扩展性、语义冗余性和多标签设置下的标签共现问题方面的局限性。
• 开发一种简单而强大的框架，学习从图像空间到标签空间的变换，而非固定图像嵌入，以改善标签相关性排序。
• 实现在无需目标分割、边界框或复杂架构（如RNN）的情况下，实现高效端到端训练。
• 探索未来扩展中零样本预测和非线性变换的可行性。

提出的方法

• 该模型从卷积神经网络（CNN）中学习一个k×d的变换矩阵A，将词向量从原始空间映射到k维欧几里得空间。
• 变换矩阵A的每一行代表词向量空间中一个主方向，标签沿此方向根据与输入图像的相关性进行排序。
• 该方法使用学习到的矩阵A对词向量进行线性变换，通过在变换空间中排序实现快速准确的标签预测。
• 该框架通过排名损失进行端到端训练，以优化相关与无关标签之间的分离。
• 该模型可解释为k个共享相同CNN特征的互补分类器的集成，通过投票聚合标签预测。
• 该方法避免了RNN或区域提议模块等复杂子网络，保持了简洁性，同时建模了标签依赖关系。

实验结果

研究问题

• RQ1 一个简单的基于CNN的变换矩阵能否有效学习根据输入图像的相关性对标签进行排序？
• RQ2 与固定图像表征相比，学习变换是否能提升多标签图像分类的性能？
• RQ3 该模型在未显式建模组件的情况下，如何处理标签间的语义冗余和共现依赖关系？
• RQ4 变换维度k对分类性能有何影响？
• RQ5 该模型能否利用共享语义空间在零样本设置下推广到未见标签？

主要发现

• 所提方法在NUS-WIDE基准上实现了最先进性能，显著优于WARP和CNN-RNN等现有模型，且训练图像数量更少。
• 该模型在不同k值（10至100）下均保持稳定性能，表明变换维度的选择对整体准确率影响极小。
• 由各分类器预测的标签集合之间的平均Jaccard系数为0.1001，表明k个分类器之间具有高度多样性，有助于提升集成性能。
• 对所有k个分类器的前5名预测结果采用投票策略，实现了63.8%的O-R（总体召回率）得分，优于单标签基线和先前方法。
• 即使在有限数据上进行训练，该模型性能依然稳健，表现出强大的泛化能力。
• 该方法概念上简洁紧凑，但相较于许多复杂的深度学习模型，其在多标签分类任务中表现更优。