[论文解读] Re-labeling ImageNet: from Single to Multi-Labels, from Global to Localized Labels

Sangdoo Yun, Seong Joon Oh+4 more|arXiv (Cornell University)|Jan 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 63被引用 5

一句话总结

本文提出 ReLabel 方法，利用强预训练分类器对 ImageNet 训练集进行基于定位的多标签标注，并引入 LabelPooling 机制在训练过程中利用这些密集标签。该方法将 ResNet-50 在 ImageNet 上的 top-1 准确率提升至 78.9%，在使用 CutMix 时达到 80.2%，并在迁移学习与多标签基准测试中均实现一致的性能提升。

ABSTRACT

ImageNet has been arguably the most popular image classification benchmark, but it is also the one with a significant level of label noise. Recent studies have shown that many samples contain multiple classes, despite being assumed to be a single-label benchmark. They have thus proposed to turn ImageNet evaluation into a multi-label task, with exhaustive multi-label annotations per image. However, they have not fixed the training set, presumably because of a formidable annotation cost. We argue that the mismatch between single-label annotations and effectively multi-label images is equally, if not more, problematic in the training setup, where random crops are applied. With the single-label annotations, a random crop of an image may contain an entirely different object from the ground truth, introducing noisy or even incorrect supervision during training. We thus re-label the ImageNet training set with multi-labels. We address the annotation cost barrier by letting a strong image classifier, trained on an extra source of data, generate the multi-labels. We utilize the pixel-wise multi-label predictions before the final pooling layer, in order to exploit the additional location-specific supervision signals. Training on the re-labeled samples results in improved model performances across the board. ResNet-50 attains the top-1 classification accuracy of 78.9% on ImageNet with our localized multi-labels, which can be further boosted to 80.2% with the CutMix regularization. We show that the models trained with localized multi-labels also outperforms the baselines on transfer learning to object detection and instance segmentation tasks, and various robustness benchmarks. The re-labeled ImageNet training set, pre-trained weights, and the source code are available at {https://github.com/naver-ai/relabel_imagenet}.

研究动机与目标

• 解决 ImageNet 图像中多物体特性与单标签标注之间的不匹配问题，该问题在随机裁剪训练过程中引入了噪声监督信号。
• 克服为整个 ImageNet 训练集创建像素级多标签标注的高昂成本。
• 通过在训练期间提供更准确、具有空间感知能力的监督信号，提升模型的泛化能力与鲁棒性。
• 证明更清晰、定位精确的多标签监督信号不仅能提升 ImageNet 分类性能，还能在下游目标检测、语义分割和细粒度识别等任务中带来性能增益。
• 开发一种可扩展的一次性标注流水线，避免迭代蒸馏过程，实现高效密集监督训练。

提出的方法

• 在外部数据源（如大规模弱监督数据）上训练一个强图像分类器，为每个 ImageNet 图像生成密集的像素级多标签预测结果。
• 将模型最终卷积特征（全局平均池化之前）作为密集标签图 $ L ∈ \mathbb{R}^{H \times W \times C} $，表示每个空间位置上各类别的置信度。
• 提出 LabelPooling，一种训练方案：通过聚合裁剪区域内的密集标签分数，为每个随机裁剪计算多标签真实标签。
• 将 LabelPooling 与标准交叉熵损失结合，实现端到端训练，利用定位精确的多标签监督信号。
• 将重标注数据与 LabelPooling 应用于单标签与多标签基准测试，包括 ImageNet 与 COCO。
• 应用 CutMix 正则化技术，进一步提升重标注 ImageNet 数据集上的性能。

Figure 1: Re-labeling ImageNet training data. Original ImageNet annotation is a single label (“ox”), whereas the image contains multiple ImageNet categories (“ox”, “barn”, and “fence”). Random crops of an image may contain an entirely different object category from the global annotation. Our method

实验结果

研究问题

• RQ1 用基于定位的多标签标注替代单标签标注，能否提升模型在 ImageNet 上的泛化能力与鲁棒性？
• RQ2 使用预训练分类器生成密集标签图，能否在保持高质量监督的同时降低标注成本？
• RQ3 LabelPooling 是否能有效利用密集的空间感知标签进行随机裁剪训练，且不会带来过高的计算开销？
• RQ4 在 ReLabel 重标注数据上进行预训练，对下游任务（如目标检测与实例分割）的迁移学习性能提升程度如何？
• RQ5 与标准训练方式及其他正则化技术（如 CutMix）相比，ReLabel 在多标签基准测试中的性能增益如何？

主要发现

• ReLabel 将 ResNet-50 在 ImageNet 上的 top-1 准确率提升至 78.9%，相比基线单标签模型提升 1.4 个百分点。
• 在使用 CutMix 正则化后，ResNet-50 的 top-1 准确率达到 80.2%，据我们所知，创下 ImageNet 上的新 SOTA 记录。
• 在 ReLabel 重标注的 ImageNet 上预训练的模型，在五个细粒度分类基准上均实现一致性能提升，其中在 FGVC Aircraft 数据集上最高提升达 +3.8 个百分点。
• 在 COCO 目标检测任务中，使用 ReLabel 预训练的 ResNet-50 作为主干网络的 Faster-RCNN 比基线模型 mAP 提升 +0.5。
• 在 COCO 实例分割任务中，使用 ReLabel 预训练的 ResNet-50 作为主干网络的 Mask-RCNN 实现 +0.5 mAP 提升，表明其特征学习能力更强。
• 在 COCO 多标签分类任务中，使用真实标签图（oracle label maps）的 ReLabel 方法使 ResNet-101 的 mAP 提升 +4.2 个百分点，表明在现有多标签设置中也具有显著增益。

Figure 2 : Cumulative distribution of Intersection-over-Union (IoU) between the random crops and ground-truth bounding boxes. We sample 100 random crops per image on the ImageNet validation set ( $50$ K images).