[论文解读] Enhanced Object Detection via Fusion With Prior Beliefs from Image Classification

Yilun Cao, Hyungtae Lee+1 more|arXiv (Cornell University)|Oct 21, 2016

Advanced Neural Network Applications参考文献 11被引用 3

一句话总结

本文提出了一种新颖的融合框架，通过整合图像分类中的先验信念来减少误报，从而提升目标检测的准确性。通过使用动态信念融合（DBF）将检测结果与分类置信度分数相结合（对同一张图像中的所有边界框统一赋值），该方法在PASCAL VOC 2007和2012数据集上多个检测器上均提升了平均平均精度（mAP），其中HOG-SVM的提升最高达+7.5%。

ABSTRACT

In this paper, we introduce a novel fusion method that can enhance object detection performance by fusing decisions from two different types of computer vision tasks: object detection and image classification. In the proposed work, the class label of an image obtained from image classification is viewed as prior knowledge about existence or non-existence of certain objects. The prior knowledge is then fused with the decisions of object detection to improve detection accuracy by mitigating false positives of an object detector that are strongly contradicted with the prior knowledge. A recently introduced novel fusion approach called dynamic belief fusion (DBF) is used to fuse the detector output with the classification prior. Experimental results show that the detection performance of all the detection algorithms used in the proposed work is improved on benchmark datasets via the proposed fusion framework.

研究动机与目标

• 解决目标检测中持续存在的误报问题，特别是针对错误率较高的检测器。
• 利用图像分类作为关于图像中目标存在或不存在的先验知识来源。
• 通过稳健的融合策略将目标检测器输出与分类置信度分数融合，以提升检测精度。
• 证明来自分类的先验知识可有效抑制误报，且无需边界框标注。
• 在多种检测器（HOG-SVM、DPM、Faster R-CNN）和基准数据集（PASCAL VOC 2007/2012）上验证该框架。

提出的方法

• 在ImageNet上训练一个弱监督卷积神经网络（WCNN），并在PASCAL VOC上进行微调以用于图像分类。
• 使用三个在相同数据集上训练的检测器——HOG-SVM、DPM和Faster R-CNN——执行检测任务。
• 将WCNN输出的图像级分类分数统一赋给同一张图像中所有检测到的边界框，作为先验信念。
• 应用动态信念融合（DBF）将检测结果与分类先验进行融合，基于验证数据建模精确率-召回率关系。
• 使用DBF为每个检测簇计算融合得分，优先选择与检测置信度和分类先验均一致的假设。
• 使用验证集优化先验性能模型，并在测试集上评估最终融合性能。

实验结果

研究问题

• RQ1 来自图像分类的先验知识是否能有效减少目标检测中的误报？
• RQ2 将分类置信度与检测输出融合后，对不同检测器的平均平均精度（mAP）有何影响？
• RQ3 该融合框架是否对误报率更高的检测器带来更大的性能提升？
• RQ4 在无边界框标注的情况下训练的弱监督分类器（WCNN）是否仍能为检测提供有用的先验知识？
• RQ5 融合带来的性能增益在不同数据集划分（如train/val/test与trainval/trainval/test）中是否具有鲁棒性？

主要发现

• 通过DBF将目标检测输出与图像分类先验融合，在PASCAL VOC 2007和2012的所有测试检测器上均显著提升了mAP。
• HOG-SVM的性能提升最大，在使用trainval划分时mAP提升了+7.5%，证实该方法对高误报率检测器的有效性。
• 当与WCNN融合时，DPM在VOC 2012上实现了+6.1%的mAP提升，表明其对误报有显著抑制作用。
• Faster R-CNN作为高性能检测器，仍在VOC 2012上实现了+1.7%的mAP提升，说明融合框架对先进检测器同样有效。
• 性能提升主要源于与分类先验强烈矛盾的误报显著减少，证实了该方法的核心机制。
• 即使在trainval划分上过度拟合先验模型，也未观察到显著性能下降，表明融合框架具有良好的鲁棒性。