[论文解读] Learning from Web Data: the Benefit of Unsupervised Object Localization

Xiaoxiao Sun, Liang Zheng+2 more|arXiv (Cornell University)|Dec 21, 2018

Advanced Image and Video Retrieval Techniques参考文献 46被引用 4

一句话总结

该论文提出了一种无监督目标定位方法，以缩小网络数据与标准数据集之间的分布差距，从而提升细粒度图像分类性能。通过在网页图像候选区域上施加尺度、定位和标签一致性约束，该方法有效去除了网络数据的偏差，使斯坦福狗类数据集上的准确率最高提升6.87%，MIT Indoor67数据集上提升5.3%。

ABSTRACT

Annotating a large number of training images is very time-consuming. In this background, this paper focuses on learning from easy-to-acquire web data and utilizes the learned model for fine-grained image classification in labeled datasets. Currently, the performance gain from training with web data is incremental, like a common saying "better than nothing, but not by much". Conventionally, the community looks to correcting the noisy web labels to select informative samples. In this work, we first systematically study the built-in gap between the web and standard datasets, i.e. different data distributions between the two kinds of data. Then, in addition to using web labels, we present an unsupervised object localization method, which provides critical insights into the object density and scale in web images. Specifically, we design two constraints on web data to substantially reduce the difference of data distributions for the web and standard datasets. First, we present a method to control the scale, localization and number of objects in the detected region. Second, we propose to select the regions containing objects that are consistent with the web tag. Based on the two constraints, we are able to process web images to reduce the gap, and the processed web data is used to better assist the standard dataset to train CNNs. Experiments on several fine-grained image classification datasets confirm that our method performs favorably against the state-of-the-art methods.

研究动机与目标

• 探究尽管网络数据规模大且成本低，为何其在深度学习中带来的性能增益有限。
• 识别并量化网络数据与标准数据集之间存在的‘固有差距’——即对象尺度、定位、密度和标签质量的差异。
• 开发一种基于数据驱动约束的无监督目标定位方法，以缩小这一分布差距。
• 证明经去偏处理的网络数据可显著提升在细粒度分类基准上的微调卷积神经网络性能。

提出的方法

• 提出一种两阶段约束机制：(1) 形状约束，用于控制检测区域内的对象尺度、定位及对象数量；(2) 标签一致性约束，用于筛选与网络标签匹配的区域。
• 对网络图像应用无监督目标定位以生成候选区域，随后施加几何与语义约束，减少分布偏移。
• 引入 $\Delta_{form}$ 以基于空间与尺度的规则性抑制冗余或噪声区域，提升定位质量。
• 引入 $\Delta_{label}$ 以过滤与网络标签不一致的区域，减少噪声监督。
• 利用经约束处理的网络数据在标准数据集上预训练或微调卷积神经网络（如 ResNet-110），提升泛化能力。
• 通过消融研究与跨数据集评估，验证各组件的有效性。

实验结果

研究问题

• RQ1 网络数据与标准数据集之间的分布差距在多大程度上限制了使用网络数据带来的性能增益？
• RQ2 对象尺度、定位、密度与标签质量的差异如何共同导致这一差距？
• RQ3 结合几何与语义约束的无监督目标定位能否有效缩小固有差距？
• RQ4 所提方法在使用网络数据进行细粒度图像分类时，是否优于当前最先进方法？
• RQ5 该方法在不同复杂度的数据集（如以对象为中心的（Food-101、Stanford Dogs）与基于场景的（MIT Indoor67）任务）上表现如何？

主要发现

• 网络数据与标准数据集之间的固有差距——源于对象尺度不规则、定位不准、密度不均及标签噪声——显著限制了网络数据的性能增益。
• 在 Food-101 上，与直接使用网络数据相比，所提方法将分类准确率提升了 6.25%，在 ResNet-110 上达到 84.31% 的准确率。
• 在 Stanford Dogs 上，经去偏处理后，准确率提升 6.87%（从 81.26% 提升至 88.13%），优于基线网络数据使用方法。
• 在 MIT Indoor67 上，准确率提升 5.3%（从 79.63% 提升至 84.93%），证明该方法在复杂场景识别任务中同样有效。
• 消融研究证实，$\Delta_{form}$ 与 $\Delta_{label}$ 约束均不可或缺，二者均对性能提升有显著贡献。
• 该方法仅使用 1/3 的数据量，即达到当前最先进结果（例如 Goldfince [4]），展现出极高的数据效率。