[论文解读] Frustratingly Simple but Effective Zero-shot Detection and Segmentation: Analysis and a Strong Baseline

Siddhesh Khandelwal, Anirudth Nambirajan+3 more|arXiv (Cornell University)|Feb 14, 2023

Advanced Neural Network Applications被引用 4

一句话总结

本文提出了一种简单但极为有效的零样本目标检测与实例分割方法，通过利用预训练的视觉-语言嵌入（如CLIP）和两阶段训练流程，其性能超越了复杂的最先进模型。该方法在MSCOCO数据集上达到最先进水平，相较于先前方法，在具有挑战性的零样本分割上，mAP最高提升37.3%，召回率提升19.6%。

ABSTRACT

Methods for object detection and segmentation often require abundant instance-level annotations for training, which are time-consuming and expensive to collect. To address this, the task of zero-shot object detection (or segmentation) aims at learning effective methods for identifying and localizing object instances for the categories that have no supervision available. Constructing architectures for these tasks requires choosing from a myriad of design options, ranging from the form of the class encoding used to transfer information from seen to unseen categories, to the nature of the function being optimized for learning. In this work, we extensively study these design choices, and carefully construct a simple yet extremely effective zero-shot recognition method. Through extensive experiments on the MSCOCO dataset on object detection and segmentation, we highlight that our proposed method outperforms existing, considerably more complex, architectures. Our findings and method, which we propose as a competitive future baseline, point towards the need to revisit some of the recent design trends in zero-shot detection / segmentation.

研究动机与目标

• 为解决目标检测与分割中实例级标注的高成本与稀缺性问题，通过实现对未见类别的零样本泛化能力。
• 探究关键设计选择（如嵌入类型、损失函数和模型架构）对零样本性能的影响。
• 通过证明简洁设计结合细致消融分析可获得更优结果，挑战当前复杂架构设计的趋势。
• 为未来零样本检测与分割研究建立一个强大且可复现的基线。
• 突出高质量预训练语义嵌入（如CLIP）在零样本迁移中尚未被充分探索的潜力。

提出的方法

• 该方法采用两阶段训练流程：首先在已知类别上使用边界框和掩码标注对Faster R-CNN或Mask R-CNN检测器进行预训练。
• 第二阶段通过交叉熵损失微调一个投影头，将图像特征映射到语义嵌入空间。
• 未见类别的语义嵌入来自预训练模型（如CLIP或GloVe），从而实现无需额外监督的零样本迁移。
• 模型在推理过程中利用归一化的类别名称嵌入计算分类得分，实现对未见类别的检测与分割。
• 微调阶段使用标准交叉熵损失，避免使用复杂的辅助损失或注意力机制。
• 最终推理将区域提议与语义嵌入相似性相结合，以预测已见和未见类别实例。

Figure 2 : Proposed Approach with Two-step Training. The first step trains the learnable parameters of a Faster [ 37 ] / Mask [ 13 ] RCNN architecture using the seen category annotations. The second step freezes these parameters, and learns the projection matrices which, along with the semantic embe

实验结果

研究问题

• RQ1 不同语义嵌入选择（如Word2Vec与CLIP）如何影响零样本检测与分割性能？
• RQ2 在零样本检测与分割中，是否更简单的模型架构（设计复杂度最低）能超越更复杂的最先进模型？
• RQ3 损失函数、模型容量与推理策略对零样本泛化能力的相对影响是什么？
• RQ4 是否可通过微调投影头的两阶段训练流程，在无架构复杂性的情况下实现最先进性能？
• RQ5 与架构创新相比，嵌入源的选择在多大程度上主导了性能表现？

主要发现

• 采用CLIP嵌入的方法（F+CLIP）在零样本检测的48/17划分上，mAP相比之前最先进方法提升37.3%，召回率提升13.1%。
• 在更具挑战性的广义零样本检测（GZSD）设置下，F+CLIP变体在调和平均mAP上相比最接近的基线平均提升11%。
• 在零样本实例分割任务中，该方法在两个划分上的HM mAP相比之前最先进方法提升117.4%，HM召回率提升12.8%。
• 使用CLIP嵌入相比Word2Vec显著提升了性能，凸显了高质量视觉-语言预训练的重要性。
• 尽管结构简单，该方法仍超越了更复杂的架构，表明架构复杂性并非实现强大零样本泛化的必要条件。
• 消融研究显示，语义嵌入的选择对性能的影响大于架构设计选择，而这一因素在以往工作中常被忽视。