[论文解读] Empirical Upper Bound in Object Detection and More

Ali Borji, Seyed Mehdi Iranmanesh|arXiv (Cornell University)|Nov 27, 2019

Advanced Neural Network Applications参考文献 60被引用 19

一句话总结

该论文在PASCAL VOC、COCO和OpenImages V4上分别建立了目标检测mAP的经验上限，分别为91.6%、78.2%和58.9%，表明当前模型与理论极限之间存在显著差距。研究识别出分类错误是主要瓶颈，尤其对小物体影响显著，并揭示模型在模糊和垂直翻转等图像变换下缺乏鲁棒性，凸显识别能力是目标检测的核心挑战。

ABSTRACT

Object detection remains as one of the most notorious open problems in computer vision. Despite large strides in accuracy in recent years, modern object detectors have started to saturate on popular benchmarks raising the question of how far we can reach with deep learning tools and tricks. Here, by employing 2 state-of-the-art object detection benchmarks, and analyzing more than 15 models over 4 large scale datasets, we I) carefully determine the upperbound in AP, which is 91.6% on VOC (test2007), 78.2% on COCO (val2017), and 58.9% on OpenImages V4 (validation), regardless of the IOU. These numbers are much better than the mAP of the best model1 (47.9% on VOC, and 46.9% on COCO; IOUs=.5:.95), II) characterize the sources of errors in object detectors, in a novel and intuitive way, and find that classification error (confusion with other classes and misses) explains the largest fraction of errors and weighs more than localization and duplicate errors, and III) analyze the invariance properties of models when surrounding context of an object is removed, when an object is placed in an incongruent background, and when images are blurred or flipped vertically. We find that models generate boxes on empty regions and that context is more important for detecting small objects than larger ones. Our work taps into the tight relationship between recognition and detection and offers insights for building better models.

研究动机与目标

• 在不依赖IoU的前提下，确定主要基准上目标检测mAP的经验上限。
• 识别并量化限制检测性能的主要错误类型——分类错误、定位错误、重复检测和漏检。
• 评估目标检测器在图像变换（如模糊、垂直翻转和上下文移除）下的不变性。
• 评估周围上下文或重叠框是否能提升检测性能的上限。
• 提供一种可泛化的诊断工具，用于系统识别目标检测中模型的弱点。

提出的方法

• 通过使用在真实边界框上训练的最先进图像识别模型，为测试集中的物体预测类别标签，然后基于这些预测计算mAP，从而估算经验上限（UAP）。
• 通过在测试集中人工引入或隔离特定错误模式（如误分类、漏检）来测量性能下降，从而量化错误类型。
• 通过在测试图像上应用裁剪、模糊、垂直翻转和不一致背景等变换，并测量多个模型的mAP下降，评估鲁棒性。
• 通过对比有无周围图像上下文的情况，开展上下文影响的消融研究。
• 开发一种诊断工具，通过隔离检测任务中各类错误的贡献，系统评估模型弱点。
• 在四个大规模数据集上评估模型：VOC（test2007）、COCO（val2017）、OpenImages V4（验证集）以及一个包含不一致背景的自定义数据集。

实验结果

研究问题

• RQ1 在主要基准上，目标检测mAP的经验上限是多少，且不依赖IoU？
• RQ2 哪种错误类型——分类错误、定位错误、重复检测或漏检——最显著地限制了检测性能？
• RQ3 目标检测器在模糊、垂直翻转和尺度变化等图像变换下的表现如何？
• RQ4 周围上下文或重叠框是否能提升检测性能的上限？
• RQ5 当前检测模型在分布外图像扰动下的泛化能力如何？

主要发现

• 在PASCAL VOC（test2007）上的mAP经验上限为91.6%，在COCO（val2017）上为78.2%，在OpenImages V4（验证集）上为58.9%，远高于目前报告的最佳模型mAP（COCO上为51.0%）。
• 分类错误（包括误分类和漏检）对性能下降的贡献大于定位错误或重复检测错误。
• 小物体尤其脆弱，其检测性能在尺度变化和变换下显著下降，表明尺度是主要瓶颈。
• 模型在空区域或不一致背景上产生大量误报，表明其对上下文推理的依赖性差。
• 垂直翻转和高斯模糊导致mAP显著下降——某些情况下降幅高达60%，凸显模型在几何和外观变化下的鲁棒性差。
• 表现最佳的模型（如FCOS、RetinaNet）仍比UAP低15–30个百分点，尤其在小物体上，表明通过更好的识别能力整合仍有改进空间。