[论文解读] GridCLIP: One-Stage Object Detection by Grid-Level CLIP Representation Learning

Jiayi Lin, Shaogang Gong|arXiv (Cornell University)|Mar 16, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

GridCLIP 提出了一种单阶段目标检测器，通过引入网格级和图像级对齐，利用 CLIP 的视觉-语言预训练来提升在长尾和开放词汇数据集上的检测性能。通过将 CLIP 的整体图像-文本表征适配到细粒度的网格级特征，并从图像级表征中蒸馏可泛化的知识，GridCLIP 实现了与 ViLD 等两阶段检测器相当的性能，同时训练速度提升 43 倍，推理速度提升 5 倍。

ABSTRACT

A vision-language foundation model pretrained on very large-scale image-text paired data has the potential to provide generalizable knowledge representation for downstream visual recognition and detection tasks, especially on supplementing the undersampled categories in downstream model training. Recent studies utilizing CLIP for object detection have shown that a two-stage detector design typically outperforms a one-stage detector, while requiring more expensive training resources and longer inference time. In this work, we propose a one-stage detector GridCLIP that narrows its performance gap to those of two-stage detectors, with approximately 43 and 5 times faster than its two-stage counterpart (ViLD) in the training and test process respectively. GridCLIP learns grid-level representations to adapt to the intrinsic principle of one-stage detection learning by expanding the conventional CLIP image-text holistic mapping to a more fine-grained, grid-text alignment. This differs from the region-text mapping in two-stage detectors that apply CLIP directly by treating regions as images. Specifically, GridCLIP performs Grid-level Alignment to adapt the CLIP image-level representations to grid-level representations by aligning to CLIP category representations to learn the annotated (especially frequent) categories. To learn generalizable visual representations of broader categories, especially undersampled ones, we perform Image-level Alignment during training to propagate broad pre-learned categories in the CLIP image encoder from the image-level to the grid-level representations. Experiments show that the learned CLIP-based grid-level representations boost the performance of undersampled (infrequent and novel) categories, reaching comparable detection performance on the LVIS benchmark.

研究动机与目标

• 为缩小基于 CLIP 表征的目标检测中单阶段与两阶段检测器之间的性能差距。
• 在无需额外图像-字幕或标注数据的情况下，提升长尾数据集中低频（不常见和新类别）的检测性能。
• 通过将 CLIP 的整体图像-文本映射适配到局部网格级表征，实现高效、高速的单阶段检测。
• 探索从 CLIP 的图像级表征到网格级特征的知识蒸馏，以实现更广泛的类别泛化能力。

提出的方法

• GridCLIP 引入了网格级对齐，将 CLIP 的图像级嵌入映射到网格级特征，使其与基础类别 CLIP 文本嵌入对齐。
• 在训练过程中应用图像级对齐，将 CLIP 图像级表征中的可泛化知识传递到网格级特征，从而同时提升基础类别和新类别性能。
• 该方法使用 CLIP 的预训练视觉和文本编码器生成高维视觉和文本嵌入，无需在检测特定数据上进行额外微调。
• 从 CLIP 图像编码器的整体表征到检测器的网格级特征进行知识蒸馏，从而实现开放集检测能力。
• 模型利用 CLIP 优化的视觉编码器（如 ViT-B/32 或 RN50×64）提取特征图，使这些特征图在网格级和图像级均与文本嵌入对齐。
• 检测器采用标准的单阶段头架构（如 RetinaNet 风格），以网格级特征作为输入进行边界框和类别预测。

实验结果

研究问题

• RQ1 在单阶段检测器中，通过将 CLIP 的整体图像-文本映射适配到局部特征，网格级对齐是否能提升对低频类别的检测性能？
• RQ2 图像级对齐是否能在无需额外微调数据的情况下，提升开放集检测中新类别（未见类别）的泛化能力？
• RQ3 网格级和图像级对齐的结合在 LVIS v1.0 等长尾数据集上的性能影响如何？
• RQ4 CLIP 的图像级表征在多大程度上能同时捕捉多个物体类别？这种能力如何支持检测？

主要发现

• 尽管训练速度提升 43 倍、推理速度提升 5 倍，GridCLIP 在 LVIS v1.0 上的检测性能与 ViLD 等两阶段检测器相当。
• 图像级对齐使新类别上的平均精度（mAP）提升 2.6 个百分点，同时保持了基础类别性能不变。
• 网格级对齐显著提升了最不常见 100 个类别上的性能，在封闭集检测中优于基线模型。
• ViT-B/32 和 RN50×64 CLIP 编码器分别实现了 75% 和 60% 的图像中类别召回率（RC@300），表明其具备强大的多类别表征能力。
• 两种对齐方式的结合有效缓解了长尾分布问题，实现了对稀有和新类别的有效检测。
• 由于从图像级表征中有效蒸馏了知识，GridCLIP 在开放集检测中优于现有单阶段 CLIP 基检测器，尤其在最不常见类别上表现更优。