[论文解读] Detecting Twenty-thousand Classes using Image-level Supervision

Xingyi Zhou, Rohit Girdhar+3 more|arXiv (Cornell University)|Jan 7, 2022

Advanced Image and Video Retrieval Techniques被引用 15

一句话总结

Detic 提出了一种简单而有效的方法，仅使用 ImageNet-21K 等大规模数据集中的图像级标签，即可训练支持多达 21,000 个类别的目标检测器。该方法通过解耦分类与定位任务，并将图像级监督仅应用于每张图像中最大的提议区域，从而实现这一目标。该方法在开放词汇和长尾检测基准上均达到最先进性能，在 LVIS 上对新类别的 mAP 提升了 8.3 个百分点，显著缩小了罕见类与常见类之间的性能差距。

ABSTRACT

Current object detectors are limited in vocabulary size due to the small scale of detection datasets. Image classifiers, on the other hand, reason about much larger vocabularies, as their datasets are larger and easier to collect. We propose Detic, which simply trains the classifiers of a detector on image classification data and thus expands the vocabulary of detectors to tens of thousands of concepts. Unlike prior work, Detic does not need complex assignment schemes to assign image labels to boxes based on model predictions, making it much easier to implement and compatible with a range of detection architectures and backbones. Our results show that Detic yields excellent detectors even for classes without box annotations. It outperforms prior work on both open-vocabulary and long-tail detection benchmarks. Detic provides a gain of 2.4 mAP for all classes and 8.3 mAP for novel classes on the open-vocabulary LVIS benchmark. On the standard LVIS benchmark, Detic obtains 41.7 mAP when evaluated on all classes, or only rare classes, hence closing the gap in performance for object categories with few samples. For the first time, we train a detector with all the twenty-one-thousand classes of the ImageNet dataset and show that it generalizes to new datasets without finetuning. Code is available at \url{https://github.com/facebookresearch/Detic}.

研究动机与目标

• 解决由于罕见或长尾类别缺乏边界框标注而导致目标检测词汇量受限的问题。
• 使检测模型能够泛化到数万个类别，而无需为每个类别提供边界框标注。
• 通过将分类与定位解耦，简化弱监督检测，避免使用复杂的基于预测的标签分配策略。
• 通过利用大规模图像分类数据，提升罕见类和新类别上的性能。

提出的方法

• Detic 使用标准边界框标注训练基础类别，同时利用 ImageNet-21K 等大规模数据集中的图像级标签来训练所有类别。
• 仅对每张图像中最大的提议区域应用分类损失，从而避免了复杂标签到框的分配方案。
• 该方法将定位（使用边界框监督训练）与分类（使用图像级监督训练）解耦，实现了词汇量的可扩展扩展。
• 检测和分类头共享主干网络，分类头在图像分类数据上进行预训练。
• 该方法兼容多种检测架构（如 Mask R-CNN、DETR）和主干网络（如 Swin-B、ResNeXt）。
• 与图像级数据联合训练可同时提升特征学习和分类器学习，且与预训练技术具有正交性。

实验结果

研究问题

• RQ1 来自 ImageNet-21K 等大规模数据集的图像级监督是否能显著提升罕见类和新类别的检测性能，而无需边界框标注？
• RQ2 一种简单、非基于预测的标签分配策略（如将所有图像标签分配给最大提议区域）是否在弱监督检测中优于复杂的分配方案？
• RQ3 在未见标签空间的新数据集上，仅用 21,000 个类别进行训练的检测器是否能实现无需微调的泛化能力？
• RQ4 Detic 在开放词汇和标准 LVIS 基准上的性能与完全监督基线及先前弱监督方法相比如何？

主要发现

• 在标准 LVIS 基准上，Detic 达到 41.7 mAP 和 41.7 mAP_rare，显著缩小了罕见类与常见类之间的性能差距。
• 在开放词汇 LVIS 基准上，与强基线（基于边界框监督）相比，Detic 在所有类别上 mAP 提升 2.4 个百分点，在新类别上提升 8.3 个百分点。
• 在使用 ImageNet-21K 图像级监督的情况下，Detic 达到了全标注训练的性能上限，新类别 mAP_novel 达到 24.9。
• Detic 在无需微调的情况下实现了对新数据集的泛化，其在 Objects365 上达到 21.5 mAP，在 OpenImages 上达到 55.2 mAP₅₀。
• 该方法在不同主干网络和分类器（包括 CLIP、FastText 和随机初始化分类器）上均表现稳健，且性能一致提升。
• 与图像级数据联合训练在各种预训练数据下均带来一致改进，表明其性能增益与预训练技术正交。