[论文解读] Exploit Bounding Box Annotations for Multi-label Object Recognition

Hao Yang, Joey Tianyi Zhou+4 more|arXiv (Cornell University)|Apr 22, 2015

Advanced Image and Video Retrieval Techniques参考文献 26被引用 5

一句话总结

该论文提出了一种多视图多实例学习框架，通过结合CNN特征与真实边界框标注，利用最近邻关系构建标签视图，从而提升多标签物体识别性能。通过将此标签视图与标准CNN特征融合，并采用Fisher向量编码，该方法在PASCAL VOC 2007上实现了92.0%的mAP，PASCAL VOC 2012上实现了90.1%的mAP，即使仅使用20个类别中10个类别的部分强标签也取得了优异表现。

ABSTRACT

Convolutional neural networks (CNNs) have shown great performance as general feature representations for object recognition applications. However, for multi-label images that contain multiple objects from different categories, scales and locations, global CNN features are not optimal. In this paper, we incorporate local information to enhance the feature discriminative power. In particular, we first extract object proposals from each image. With each image treated as a bag and object proposals extracted from it treated as instances, we transform the multi-label recognition problem into a multi-class multi-instance learning problem. Then, in addition to extracting the typical CNN feature representation from each proposal, we propose to make use of ground-truth bounding box annotations (strong labels) to add another level of local information by using nearest-neighbor relationships of local regions to form a multi-view pipeline. The proposed multi-view multi-instance framework utilizes both weak and strong labels effectively, and more importantly it has the generalization ability to even boost the performance of unseen categories by partial strong labels from other categories. Our framework is extensively compared with state-of-the-art hand-crafted feature based methods and CNN based methods on two multi-label benchmark datasets. The experimental results validate the discriminative power and the generalization ability of the proposed framework. With strong labels, our framework is able to achieve state-of-the-art results in both datasets.

研究动机与目标

• 解决全局CNN特征在多物体、尺度变化及遮挡场景下的多标签图像识别中的局限性。
• 通过引入基于物体提议和真实边界框强监督的局部信息，提升特征判别能力。
• 利用其他类别提供的部分强标签，实现对未见类别的泛化能力。
• 构建一个有效融合弱监督（图像级标签）与强监督（边界框标注）的多实例学习框架。
• 在无需完整类别边界框标注的情况下，实现在基准多标签数据集上的SOTA性能。

提出的方法

• 通过将每张图像视为一个包，物体提议视为实例，将多标签识别转化为多类多实例学习问题。
• 为每个提议提取两类特征：标准CNN特征（特征视图）以及基于与真实边界框最近邻关系的标签视图。
• 使用大间隔最近邻（LMNN）CNN学习具有判别性的局部表示，以编码标签接近度信息。
• 通过Fisher向量编码融合特征视图与标签视图，构建整体图像级表征。
• 端到端训练模型，利用图像级标签进行弱监督，同时利用真实边界框进行强监督，以指导局部特征学习。
• 将标准的8层CNN替换为16层超深层CNN，以评估可扩展性与性能增益，并通过分数融合结合预训练模型。

实验结果

研究问题

• RQ1 将真实边界框标注作为强标签引入，是否能提升多标签物体识别中的特征表示？
• RQ2 结合特征视图与标签视图的多视图框架，是否能增强判别能力并提升对未见类别的泛化性能？
• RQ3 仅使用部分类别提供的强标签，是否能提升其余未见类别的识别性能？
• RQ4 所提出的多实例学习框架与SOTA的手工设计方法及基于CNN的方法相比，在标准基准上的表现如何？
• RQ5 在基于包的多实例学习设置中，Fisher向量编码在聚合实例级特征方面，相较于最大池化（max-pooling）的性能优势有多大？

主要发现

• 所提框架在PASCAL VOC 2007上实现了92.0%的SOTA mAP，较最佳现有方法高出近1%。
• 即使仅10个类别提供真实边界框（共20个类别），该框架仍使mAP相比基线提升1.3%，表明对未见类别的强大泛化能力。
• 标签视图贡献显著：当使用全部20个类别时，将标签视图加入特征视图可使mAP提升2.5%。
• 将8层CNN替换为16层超深层CNN后，性能与“VeryDeep”模型相当，且两模型的融合进一步实现了92.0%的新SOTA mAP。
• 在VOC 2012上，该框架相比SOTA手工设计方法（NUS-PSL）提升1.8%，相比基于提议的CNN方法（HCP-1000C）提升2.3%。
• 基于与真实边界框最近邻关系构建的标签视图具有良好的泛化能力，显著提升了未参与训练类别的性能，表明其在局部相似性学习方面具有有效性。