[论文解读] Detect Everything with Few Examples

Xinyu Zhang, Liu, Yuhan+2 more|arXiv (Cornell University)|Sep 22, 2023

Handwritten Text Recognition Techniques被引用 5

一句话总结

DE-ViT 提出了一种少样本目标检测框架，通过利用冻结的 DINOv2 特征，并将多类别检测转化为二分类任务，实现在无需微调的情况下检测新类别。该方法在 COCO 和 LVIS 基准上达到最先进性能，相较于之前的少样本检测器甚至开放词汇检测器，mAP 最高提升 15，AP50 最高提升 6.9。

ABSTRACT

Few-shot object detection aims at detecting novel categories given only a few example images. It is a basic skill for a robot to perform tasks in open environments. Recent methods focus on finetuning strategies, with complicated procedures that prohibit a wider application. In this paper, we introduce DE-ViT, a few-shot object detector without the need for finetuning. DE-ViT's novel architecture is based on a new region-propagation mechanism for localization. The propagated region masks are transformed into bounding boxes through a learnable spatial integral layer. Instead of training prototype classifiers, we propose to use prototypes to project ViT features into a subspace that is robust to overfitting on base classes. We evaluate DE-ViT on few-shot, and one-shot object detection benchmarks with Pascal VOC, COCO, and LVIS. DE-ViT establishes new state-of-the-art results on all benchmarks. Notably, for COCO, DE-ViT surpasses the few-shot SoTA by 15 mAP on 10-shot and 7.2 mAP on 30-shot and one-shot SoTA by 2.8 AP50. For LVIS, DE-ViT outperforms few-shot SoTA by 17 box APr. Further, we evaluate DE-ViT with a real robot by building a pick-and-place system for sorting novel objects based on example images. The videos of our robot demonstrations, the source code and the models of DE-ViT can be found at https://mlzxy.github.io/devit.

研究动机与目标

• 为解决基于微调的少样本目标检测方法在实际应用中的局限性，这些方法复杂且不利于现实世界部署。
• 提升少样本检测的准确性，特别是在 COCO 和 LVIS 等具有挑战性的基准上，现有方法的表现不如开放词汇检测器。
• 仅使用测试时的支持图像实现对新类别的零样本推理，无需任何模型适配或再训练。
• 证明仅使用冻结的视觉变换器即可实现强大的少样本检测性能，避免高昂的微调成本。

提出的方法

• 通过使用单一共享的二分类器，将多类别分类转化为多个一对一余类的二分类任务，避免对每个类别进行微调。
• 利用 DINOv2 从支持图像特征中构建类别原型，用于计算提议特征与类别表征之间的相似度图。
• 提出一种新颖的基于传播的定位机制，通过空间积分层在相似度图上传播区域，以精炼目标边界框。
• 使用原型投影头将提议特征映射到相似度图，仅依赖冻结的 DINOv2 特征即可实现分类与定位的联合优化。
• 引入背景原型和类别重排模块，以提升泛化能力并减少对基础类别的过拟合。
• 依赖现成的 RPN 生成区域提议，所有下游处理均在冻结的 DINOv2 特征上完成。

Figure 1: Demonstration of the proposed method on YCB objects (Calli et al., 2015 ) . DE-ViT with ViT-L/14 is used for prediction. Note that our model is trained on only the base categories of LVIS. Example images of YCB objects are provided only during inference to represent novel categories.

实验结果

研究问题

• RQ1 是否可以通过利用强大的预训练视觉模型，在不进行微调的情况下实现少样本目标检测？
• RQ2 如何仅使用像 DINOv2 这类视觉变换器的冻结特征，实现准确的对象定位？
• RQ3 在无需每类别适应的情况下，统一的二分类头是否能优于多类别分类头？
• RQ4 在使用冻结特征时，基于传播的定位机制是否能提升新类别边界框的准确性？
• RQ5 在 COCO 和 LVIS 等具有挑战性的基准上，少样本检测器是否能在 AP50 和掩码 APr 指标上超越开放词汇检测器？

主要发现

• 在 COCO 上，DE-ViT 在 10-shot 检测中超越少样本最先进方法 LVC 15 mAP，在 30-shot 检测中超越 7.2 mAP。
• 在单样本检测中，DE-ViT 在 COCO 上超越最先进方法 BHRL 2.8 AP50。
• 在 LVIS 上，DE-ViT 的框 APr 比之前少样本最先进方法 DiGeo 高出 20。
• 在 COCO 上，DE-ViT 在新类别上达到 50 AP50，超越开放词汇最先进方法 CORA+ 6.9 AP50。
• 在 LVIS 上，DE-ViT 在新类别上达到 34.3 掩码 APr，超越最先进方法 Ro-ViT 1.5 掩码 APr。
• 该方法在不进行任何微调、蒸馏或额外预训练数据的情况下，仅依赖冻结的 DINOv2 特征，即达到最先进性能。

Figure 2: Overview of the proposed method. Our approach uses DINOv2 ViT to encode the image into a feature map, from which proposal features are extracted using ROIAlign. Proposals are generated via an off-the-shelf RPN. Prototype projection transforms proposal features into similarity maps based on