[论文解读] Expanding Low-Density Latent Regions for Open-Set Object Detection

Jiaming Han, Yuqiang Ren+4 more|arXiv (Cornell University)|Mar 28, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出 OpenDet，一种新颖的开放集目标检测框架，通过扩展潜在空间中的低密度区域来提升未知目标的识别能力。通过结合实例级对比学习与不确定性感知的未知概率估计，OpenDet 在六个基准测试中将绝对开放集误差降低了 25%–35%，同时保持了闭集检测的准确率。

ABSTRACT

Modern object detectors have achieved impressive progress under the close-set setup. However, open-set object detection (OSOD) remains challenging since objects of unknown categories are often misclassified to existing known classes. In this work, we propose to identify unknown objects by separating high/low-density regions in the latent space, based on the consensus that unknown objects are usually distributed in low-density latent regions. As traditional threshold-based methods only maintain limited low-density regions, which cannot cover all unknown objects, we present a novel Open-set Detector (OpenDet) with expanded low-density regions. To this aim, we equip OpenDet with two learners, Contrastive Feature Learner (CFL) and Unknown Probability Learner (UPL). CFL performs instance-level contrastive learning to encourage compact features of known classes, leaving more low-density regions for unknown classes; UPL optimizes unknown probability based on the uncertainty of predictions, which further divides more low-density regions around the cluster of known classes. Thus, unknown objects in low-density regions can be easily identified with the learned unknown probability. Extensive experiments demonstrate that our method can significantly improve the OSOD performance, e.g., OpenDet reduces the Absolute Open-Set Errors by 25%-35% on six OSOD benchmarks. Code is available at: https://github.com/csuhan/opendet2.

研究动机与目标

• 解决开放集目标检测（OSOD）中的挑战，即在闭集假设下，未知类别常被错误分类为已知类别。
• 克服传统基于阈值的方法仅能维持有限低密度区域的局限性，无法覆盖所有未知目标。
• 开发一种方法，通过扩展潜在空间中的低密度区域来识别未知目标，且无需额外的训练数据或复杂的后处理。
• 在显著提升开放集泛化性能的同时，保持高闭集检测准确率。
• 实现仅用闭集数据训练的检测器在开放集环境中直接部署，且仅需极少修改。

提出的方法

• 提出双学习器框架：对比特征学习器（CFL）用于增强已知类别的类内紧凑性与类间分离性，从而扩展潜在空间中未知目标的低密度区域。
• 使用未知概率学习器（UPL）估计实例级不确定性，并基于预测置信度分配未知概率，实现未知检测的动态阈值。
• 利用实例级对比学习最小化已知类别内部的特征方差，从而自然地扩大未知目标的低密度区域体积。
• 优化 UPL 以在保持闭集准确率的同时，学习一种类似阈值的未知概率，从而将更多潜在空间区域划分为低密度区域。
• 推理阶段，若某对象的未知概率超过所有已知类别的未知概率，则将其分类为未知，实现直接的开放集检测。
• 仅使用闭集标注端到端训练模型，避免对未知类别数据或复杂后处理的需求。

Figure 1: Trained on close-set images, (a) threshold-based methods , e.g. , Faster R-CNN, usually misclassify unknown objects (black triangles, e.g. zebra) into known classes (colored dots, e.g. horse) due to limited low-density regions (in gray color). (b) Our method identifies unknown objects by e

实验结果

研究问题

• RQ1 扩展潜在空间中的低密度区域是否能提升开放集目标检测中未知目标的检测性能？
• RQ2 如何在不依赖额外未知类别标注或复杂后处理的情况下，有效识别未知目标？
• RQ3 实例级对比学习与基于不确定性的概率估计在多大程度上能增强已知类与未知类之间的分离？
• RQ4 所提方法是否能在显著提升开放集泛化性能的同时，保持高闭集检测准确率？
• RQ5 与需要访问未知类别数据或复杂训练流程的最先进基线相比，所提方法的性能表现如何？

主要发现

• 与先前方法相比，OpenDet 在六个开放集目标检测基准上将绝对开放集误差（AOSE）降低了 25%–35%。
• 在 PASCAL VOC 和基于 COCO 的开放集设置下，使用 ResNet-50 主干网络时，OpenDet 实现了 14.95 WI 和 11,286 AOSE，优于 FR-CNN（18.39 WI，15,118 AOSE）。
• 采用 Swin-T 主干网络时，OpenDet 实现了 12.51 WI 和 9,875 AOSE，展现出对基线检测器的一致性改进。
• 即使未访问未知类别标注，OpenDet 仍优于 ORE 和 DS，在开放世界检测中实现 59.01 mAP K 和 5,781 AOSE，接近 Oracle 性能。
• 消融实验表明，CFL 和 UPL 均对性能有显著贡献，其中 UPL 促进了更广泛的低密度区域扩展。
• 定性结果表明，OpenDet 能够成功检测出此前被错误分类为已知类别的未知目标，失败案例主要集中在密集目标场景或背景误分类。

Figure 2: t-SNE visualization of latent features. We take VOC classes as known classes (colored dots), and non-VOC classes in COCO as unknown classes (black triangles). Our method learns a clear separation between known and unknown classes.