[论文解读] Learning from Rich Semantics and Coarse Locations for Long-tailed Object Detection

Lingchen Meng, Xiyang Dai+8 more|arXiv (Cornell University)|Oct 18, 2023

Advanced Neural Network Applications被引用 4

一句话总结

本文提出 RichSem，一种简单而高效的方法，用于长尾目标检测，该方法利用图像-文本对比模型（如 CLIP）中的丰富语义信息以及粗粒度图像级边界框作为软监督信号。通过在训练过程中引入一个语义分支，学习来自这些丰富且对位置不敏感的语义信息（无需精确边界框），该方法在多个基准测试中实现了最先进性能，尤其在罕见类别检测方面表现显著，且训练开销极低。

ABSTRACT

Long-tailed object detection (LTOD) aims to handle the extreme data imbalance in real-world datasets, where many tail classes have scarce instances. One popular strategy is to explore extra data with image-level labels, yet it produces limited results due to (1) semantic ambiguity -- an image-level label only captures a salient part of the image, ignoring the remaining rich semantics within the image; and (2) location sensitivity -- the label highly depends on the locations and crops of the original image, which may change after data transformations like random cropping. To remedy this, we propose RichSem, a simple but effective method, which is robust to learn rich semantics from coarse locations without the need of accurate bounding boxes. RichSem leverages rich semantics from images, which are then served as additional soft supervision for training detectors. Specifically, we add a semantic branch to our detector to learn these soft semantics and enhance feature representations for long-tailed object detection. The semantic branch is only used for training and is removed during inference. RichSem achieves consistent improvements on both overall and rare-category of LVIS under different backbones and detectors. Our method achieves state-of-the-art performance without requiring complex training and testing procedures. Moreover, we show the effectiveness of our method on other long-tailed datasets with additional experiments. Code is available at \url{https://github.com/MengLcool/RichSem}.

研究动机与目标

• 解决长尾目标检测问题，即罕见类别因数据稀缺而性能下降。
• 克服使用额外数据集中的图像级标签所带来的局限性，这些标签存在语义模糊性和位置敏感性问题。
• 通过利用预训练视觉-语言模型中的丰富且鲁棒的语义信息，提升罕见类别检测性能。
• 设计一种训练框架，增强特征表示能力，而无需修改推理过程或引入复杂的伪标签生成。
• 在多种主干网络和数据集（包括 LVIS 及其他具有长尾分布的数据集）上验证方法的有效性。

提出的方法

• 在目标检测器中引入一个语义分支，利用 CLIP 提取的丰富语义信息进行训练，输入为粗粒度图像级边界框。
• 使用整张图像作为粗粒度边界框（即类似马赛克的输入形式），以确保对随机裁剪等数据增强操作具有鲁棒性。
• 从 CLIP 嵌入中提取类别级别的语义信息作为软标签，在训练过程中提供额外监督。
• 通过统一的分类损失联合优化检测头损失与语义分支的蒸馏损失。
• 训练完成后丢弃语义分支，使模型可作为标准检测器部署，无推理开销。
• 利用大规模、类别平衡的分类数据集（如 ImageNet-21k）丰富罕见类别的训练数据，而无需边界框标注。

实验结果

研究问题

• RQ1 当使用图像级标签作为监督信号时，预训练视觉-语言模型中的丰富语义是否能提升长尾目标检测性能？
• RQ2 使用粗粒度位置（全图边界框）是否能缓解基于图像级标签训练中因数据增强导致的位置敏感性问题？
• RQ3 与单热编码的图像级标签相比，CLIP 提供的软语义信息是否能作为更有效的监督信号用于罕见类别检测？
• RQ4 所提出的语义分支是否能提升罕见、常见和频繁类别之间的特征判别能力？
• RQ5 该方法是否能在不使用复杂训练流程的前提下，对不同主干网络和数据集均实现一致的性能提升？

主要发现

• RichSem 在 LVIS 上达到最先进性能，罕见类别检测 mAP 提升 3.0，所有类别均实现稳定提升。
• 即使使用强预训练主干网络，该方法在罕见类别上的检测性能仍提升约 3.0 mAP，优于标准预训练方法。
• 特征可视化显示，RichSem 在所有类别频率下均生成了分离良好、类内紧凑的特征，表明实现了均衡的表示学习。
• 语义分支显著提升了低样本类别检测性能，当蒸馏损失权重设为 1 时，mAP 提升达 3.0，同时保持了对高频类别的性能。
• 即使主干网络在大规模数据上进行预训练，该方法依然有效，表明其与标准预训练互补而非替代。
• 大量消融实验表明，丰富语义和粗粒度位置均不可或缺，统一损失函数实现了检测与语义对齐的联合优化。