[论文解读] Extending One-Stage Detection with Open-World Proposals

Sachin Konan, Kevin J Liang+1 more|arXiv (Cornell University)|Jan 7, 2022

Advanced Neural Network Applications被引用 9

一句话总结

本文提出通过FCOS扩展单阶段目标检测的开放世界提议（OWP），引入基于IOU的置信度评分与采样策略，以提升对未见类别的检测性能。在保持分类准确率的同时，未见类别检测的召回率提升了6%，相较于OLN的6%性能下降，其性能仅下降2%，优于两阶段基线模型。

ABSTRACT

In many applications, such as autonomous driving, hand manipulation, or robot navigation, object detection methods must be able to detect objects unseen in the training set. Open World Detection(OWD) seeks to tackle this problem by generalizing detection performance to seen and unseen class categories. Recent works have seen success in the generation of class-agnostic proposals, which we call Open-World Proposals(OWP), but this comes at the cost of a big drop on the classification task when both tasks are considered in the detection model. These works have investigated two-stage Region Proposal Networks (RPN) by taking advantage of objectness scoring cues; however, for its simplicity, run-time, and decoupling of localization and classification, we investigate OWP through the lens of fully convolutional one-stage detection network, such as FCOS. We show that our architectural and sampling optimizations on FCOS can increase OWP performance by as much as 6% in recall on novel classes, marking the first proposal-free one-stage detection network to achieve comparable performance to RPN-based two-stage networks. Furthermore, we show that the inherent, decoupled architecture of FCOS has benefits to retaining classification performance. While two-stage methods worsen by 6% in recall on novel classes, we show that FCOS only drops 2% when jointly optimizing for OWP and classification.

研究动机与目标

• 解决在自动驾驶和机器人等实际应用中检测未见类别物体的挑战。
• 提升单阶段检测器中开放世界提议（OWP）的性能，此类检测器传统上在未见类别上的表现不如两阶段网络。
• 在优化OWP的同时保持对已见类别的高分类准确率，克服两阶段检测器中常见的性能权衡问题。
• 研究FCOS中架构与采样策略的优化，以超越仅依赖中心度的物体置信度估计。
• 提出并评估未知物体掩码（Unknown Object Masking），通过过滤错误标注的背景样本以改善训练效果。

提出的方法

• 用基于IOU的物体置信度分数替代FCOS默认的基于中心度的物体置信度头，以更好地识别高质量、与类别无关的提议。
• 引入IOU采样策略，一种难负样本挖掘方法，优先选择IOU值接近阈值（0.925–0.95）的提议，以提升泛化能力。
• 在训练过程中应用未知物体掩码，通过过滤低质量、错误标注的提议来抑制错误的背景预测。
• 联合训练OWP与分类头，利用FCOS的解耦架构，最小化两个任务的性能退化。
• 优化超参数，包括阈值（0.95）和训练轮次（5k），以平衡OWP与分类性能。
• 在COCO和LVIS数据集上评估，使用基础类别AP以及未见类别AR@100/AR@300作为指标，以评估泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 像FCOS这样的单阶段检测器能否实现与基于两阶段RPN模型相当的最先进开放世界提议（OWP）性能？
• RQ2 与仅依赖中心度相比，基于IOU的物体置信度评分与IOU采样策略在未见类别上的OWP性能提升程度如何？
• RQ3 相较于两阶段基线模型，FCOS在优化OWP的同时，对已见类别的分类准确率能保持多高？
• RQ4 未知物体掩码是否能有效减少错误标注背景样本带来的噪声，并同时提升OWP与分类性能？
• RQ5 所提出的优化策略在具有长尾分布的数据集（如LVIS）上是否具备良好的泛化能力？

主要发现

• 基于IOU的物体置信度评分与IOU采样策略在COCO上使未见类别的OWP召回率提升4.8%，在LVIS上提升4.55%，实现OWP性能6%的绝对提升。
• FCOS中OWP与分类任务的联合训练仅导致未见类别AR100下降2.3%，显著优于OLN的6.2%下降。
• 在联合训练与未知物体掩码下，FCOS在COCO基础类别上达到46.2% AP，在未见类别上AR100达27.8%，两项指标均优于OLN。
• 在LVIS上，相同优化使未见类别的AR300从35.30%提升至39.85%，证实了基于IOU的物体置信度在不同数据集上的有效性。
• 未知物体掩码在COCO上提升了性能，但在LVIS上未见显著增益，提示其存在数据集相关限制，需进一步研究。
• FCOS的解耦架构使OWP与分类任务之间的权衡更优，使其成为首个在最小化准确率下降的同时达到两阶段模型性能的单阶段检测器。