[论文解读] Learning Open-World Object Proposals without Learning to Classify

Dahun Kim, Tsung-Yi Lin+3 more|arXiv (Cornell University)|Aug 15, 2021

Advanced Neural Network Applications被引用 7

一句话总结

本文提出物体定位网络（OLN），一种无需分类的物体建议方法，其仅通过定位质量（如中心度、IoU 和回归质量）来学习物体性，而非依赖前景-背景分类。通过避免类别特定的过拟合，OLN 在 COCO、RoboNet、Objects365 和 EpicKitchens 上实现了跨类别和跨数据集泛化性能的最先进水平，并在 LVIS 上将稀有类别检测的 AP 提升了 +3.4。

ABSTRACT

Object proposals have become an integral preprocessing steps of many vision pipelines including object detection, weakly supervised detection, object discovery, tracking, etc. Compared to the learning-free methods, learning-based proposals have become popular recently due to the growing interest in object detection. The common paradigm is to learn object proposals from data labeled with a set of object regions and their corresponding categories. However, this approach often struggles with novel objects in the open world that are absent in the training set. In this paper, we identify that the problem is that the binary classifiers in existing proposal methods tend to overfit to the training categories. Therefore, we propose a classification-free Object Localization Network (OLN) which estimates the objectness of each region purely by how well the location and shape of a region overlap with any ground-truth object (e.g., centerness and IoU). This simple strategy learns generalizable objectness and outperforms existing proposals on cross-category generalization on COCO, as well as cross-dataset evaluation on RoboNet, Object365, and EpicKitchens. Finally, we demonstrate the merit of OLN for long-tail object detection on large vocabulary dataset, LVIS, where we notice clear improvement in rare and common categories.

研究动机与目标

• 为解决现有基于学习的物体建议方法在训练类别上过拟合且在新物体上表现不佳的局限性。
• 探究无分类学习物体性是否能提升对未见类别和多样化数据集的泛化能力。
• 通过聚焦于定位质量而非类别特定分类，实现有效的开放世界物体建议。
• 评估 OLN 在 LVIS 等大规模词汇量数据集中的长尾检测影响。
• 证明在跨数据集和跨类别场景下，基于定位的线索优于基于分类的线索。

提出的方法

• OLN 用定位质量头替代标准 RPN 中的二分类器，该头为每个区域预测中心度、IoU 和回归质量。
• 模型仅使用真实边界框及其空间重叠度量进行训练，不依赖任何类别标签。
• 物体性分数通过中心度、IoU 和回归质量的可学习组合计算，从而实现对新物体形状和类别的泛化能力。
• 该方法使用标准 RPN 风格的区域生成，但将分类头替换为仅基于定位的头，以避免类别偏差。
• OLN 作为 RPN 的即插即用替代品，在 Faster R-CNN 和 Mask R-CNN 中进行评估，保持与现有检测流程的兼容性。
• 训练为端到端，使用标准检测损失组件，但仅使用定位头进行建议评分。

实验结果

研究问题

• RQ1 无分类物体建议网络是否能在未在训练中见过的新物体类别上实现更好的泛化？
• RQ2 与前景-背景分类相比，学习定位质量（如中心度和 IoU）是否能提升跨数据集的泛化能力？
• RQ3 在长尾检测场景下，仅基于定位的方法与基于分类的方法相比表现如何？
• RQ4 OLN 是否能有效检测 egocentric 视频数据集（如 EpicKitchens）中的物体，其中常见新物体和词汇外物体？
• RQ5 在 LVIS 等大规模词汇量数据集中，移除分类器头是否能提升稀有类别上的性能？

主要发现

• 在 COCO 的跨类别泛化基准中，OLN 在新类别上的 AUC 提升了 +3.3，AR@10 提升了 +5.0，AR@100 提升了 +5.1，优于最先进方法。
• 在 RoboNet 上，OLN 在类别无关、全面的物体检测中，AP 相较于标准 RPN 方法提升了 13–16 个百分点。
• 在 Objects365 上，OLN 相较于标准方法实现了 +4 AR@10 和 +8 AR@100 的提升，展现出强大的跨数据集泛化能力。
• 在 EpicKitchens 的 egocentric 视频评估中，OLN 检测到了更多新型物体（如烤面包机、微波炉、面团球），而 Mask R-CNN 未能检测到。
• 作为 Faster R-CNN 中 RPN 的即插即用替代品，在 LVIS 上，OLN 将平均 AP 提升了 +1.4，其中稀有类别提升 +3.4，常见类别提升 +1.8。
• 消融实验表明，移除前景-背景分类器显著提升了泛化能力，且仅依靠定位线索已足以实现优异性能。