[论文解读] Can Partial Strong Labels Boost Multi-label Object Recognition?

Hao Yang, Joey Tianyi Zhou+4 more|arXiv (Cornell University)|Apr 22, 2015

Image Retrieval and Classification Techniques参考文献 7被引用 6

一句话总结

本文提出了一种多视角多实例深度学习框架，通过利用部分强标签和弱标签来提升多标签物体识别性能。通过从图像中提取区域建议并进行两视角表示学习，将多标签图像转化为多实例学习问题，该方法增强了特征的判别能力和泛化性能，在结合超深层网络时，于两个基准数据集上取得了最先进性能。

ABSTRACT

Convolutional neural networks (CNN) have shown great performance as a global representation for object recognition. However, for multi-label images that contain multiple objects from different categories, scales and locations, single CNN features might not be be optimal. To enhance the robustness and discriminative power of CNN features for multi-label object recognition problem, we propose a multi-view multi-instance framework. This framework transforms the multi-label classification problem into a multi-class multi-instance learning problem by extracting object proposals from images. A multi-view pipeline is then applied to generate a two-view representation of each proposal by exploiting two levels of labels in multi-label recognition problem. The proposed framework not only has the flexibility of utilizing both weak and strong labels or just weak labels, but also holds the generalization ability to boost the performance of unseen categories by available strong labels. Our framework is extensively compared with state-of-the-art hand-crafted feature based and CNN based methods on two multi-label benchmark datasets. The experimental results validate the discriminative power and generalization ability of the proposed framework. When combined with a very-deep network, we can achieve state-of-the-art results in both datasets.

研究动机与目标

• 为解决单个CNN特征在捕捉多标签图像中尺度和位置各异的多样化物体方面的局限性。
• 提升深度特征在多标签物体识别中的判别能力和鲁棒性。
• 在统一框架中有效利用弱标签和部分强标签。
• 通过利用可用的强标签，提升对未见类别的泛化能力。
• 开发一种灵活且可泛化的框架，超越现有手工设计方法和基于CNN的方法。

提出的方法

• 通过从图像中提取区域建议，将多标签分类问题转化为多类多实例学习问题。
• 利用两个层级的标签为每个建议生成两视角表示：图像级别的弱标签和物体级别的强标签。
• 应用多视角学习流程，联合优化利用弱标签和强标签信号的表示。
• 将框架与超深层卷积神经网络集成，以利用层次化特征学习。
• 利用部分强标签在无需完整实例级标注的情况下提升特征判别能力。
• 设计框架以通过利用可用强标签，保持对未见类别的泛化能力。

实验结果

研究问题

• RQ1 当与弱标签结合时，部分强标签是否能显著提升多标签物体识别性能？
• RQ2 与标准CNN相比，所提出的多视角多实例框架如何增强特征判别能力？
• RQ3 该框架在仅使用部分强标签的情况下，对未见类别的泛化能力达到何种程度？
• RQ4 该框架在标准多标签基准数据集上与最先进手工设计方法和基于CNN的方法相比表现如何？
• RQ5 将该框架与超深层网络结合后，对识别准确率有何影响？

主要发现

• 当与超深层网络结合时，所提出的框架在两个多标签基准数据集上实现了最先进性能。
• 部分强标签的集成显著提升了特征判别能力和识别准确率。
• 通过有效利用可用强标签，该框架能很好地泛化到未见类别。
• 多视角多实例学习流程优于基于手工特征的方法和标准CNN方法。
• 即使仅提供部分强标签，该框架仍保持强劲性能，展现出标签利用的灵活性。