[论文解读] How good are detection proposals, really?

Jan Hosang, Rodrigo Benenson+1 more|arXiv (Cornell University)|Jun 26, 2014

Advanced Image and Video Retrieval Techniques参考文献 25被引用 56

一句话总结

本文使用真实框召回率、重复性以及对DPM检测器性能的影响，在Pascal VOC 2007和ImageNet 2013上评估了十种目标提议方法。研究发现，Selective Search和EdgeBoxes在召回率、重复性和速度之间达到了最佳平衡，而大多数方法由于超像素不稳定导致重复性较低，且提议质量显著影响最终检测准确率。

ABSTRACT

Current top performing Pascal VOC object detectors employ detection proposals to guide the search for objects thereby avoiding exhaustive sliding window search across images. Despite the popularity of detection proposals, it is unclear which trade-offs are made when using them during object detection. We provide an in depth analysis of ten object proposal methods along with four baselines regarding ground truth annotation recall (on Pascal VOC 2007 and ImageNet 2013), repeatability, and impact on DPM detector performance. Our findings show common weaknesses of existing methods, and provide insights to choose the most adequate method for different settings.

研究动机与目标

• 在统一的评估框架中，对现有检测提议方法进行系统且无偏见的比较。
• 分析目标检测流程中提议质量、速度与重复性之间的权衡。
• 通过在更大、更丰富的ImageNet 2013验证集上进行评估，检验方法在Pascal VOC之外的泛化能力。
• 使用DPM作为基线，量化不同提议方法对最终检测器性能的影响。
• 公开所有边界框和评估脚本，以支持可复现性及未来方法的对比。

提出的方法

• 作者使用统一的评估流程，评估了十种公开可用的检测提议方法，包括Selective Search、EdgeBoxes、MCG和CPMC。
• 在Pascal VOC 2007和ImageNet 2013上，通过IoU阈值（例如≥0.5、≥0.7）测量真实框召回率，以评估定位准确性。
• 引入重复性作为新指标，用于衡量在图像扰动（如噪声和模糊）下提议的一致性。
• 对每个提议窗口应用DPM检测器，随后进行非极大值抑制和边界框回归，以评估最终检测性能。
• 评估使用每张图像1,000个提议，比较各方法的mAP和各类别检测指标。
• 所有实验均在超过2.5个月的CPU计算时间下完成，结果和代码已公开。

实验结果

研究问题

• RQ1 在Pascal VOC 2007和ImageNet 2013上，不同检测提议方法的真实框召回率表现如何？
• RQ2 在图像扰动下，检测提议的重复性如何？这对检测可靠性有何影响？
• RQ3 提议方法如何影响DPM检测器的最终mAP？哪些方法能实现最佳检测性能？
• RQ4 提议方法是否在Pascal VOC之外也具有良好的泛化能力，还是对特定物体类别存在偏差？
• RQ5 在实际应用中，哪种方法在速度、召回率和检测质量之间提供了最佳权衡？

主要发现

• Selective Search和EdgeBoxes在真实框召回率（AUC高于69%）、重复性和速度之间实现了最佳平衡，是表现最佳的方法。
• 当使用1,000个提议时，MCG在IoU ≥0.5时实现了最高的召回率（超过70%），但其速度慢于EdgeBoxes和Selective Search。
• 当所需提议数量少于1,000个时，EdgeBoxes在速度与质量之间提供了最佳折衷。
• 尽管Objectness和Bing与Rahtu及Gaussian基线具有相似的AUC，但其mAP较低，原因在于高IoU区域的定位性能较差。
• 大多数方法因超像素或边界估计不稳定，即使在轻微图像扰动下也表现出较低的重复性。
• ImageNet 2013的评估结果证实，大多数方法在Pascal VOC之外也具有良好的泛化能力，支持其作为真正的'objectness'方法使用。