[论文解读] Deep Feature Based Contextual Model for Object Detection

Wenqing Chu, Deng Cai|arXiv (Cornell University)|Apr 14, 2016

Advanced Neural Network Applications参考文献 2被引用 6

一句话总结

本文提出一种基于深度特征的上下文模型，通过全连接条件随机场（CRF）整合局部外观、物体间关系与全局场景上下文，以增强目标检测。该方法利用Faster R-CNN生成的建议框及CNN提取的特征，在PASCAL VOC 2007数据集上将平均平均精度（mAP）提升0.87%，其中'瓶子'类别最高提升达3.4%，并通过快速均场近似方法实现高效推理。

ABSTRACT

Object detection is one of the most active areas in computer vision, which has made significant improvement in recent years. Current state-of-the-art object detection methods mostly adhere to the framework of regions with convolutional neural network (R-CNN) and only use local appearance features inside object bounding boxes. Since these approaches ignore the contextual information around the object proposals, the outcome of these detectors may generate a semantically incoherent interpretation of the input image. In this paper, we propose an ensemble object detection system which incorporates the local appearance, the contextual information in term of relationships among objects and the global scene based contextual feature generated by a convolutional neural network. The system is formulated as a fully connected conditional random field (CRF) defined on object proposals and the contextual constraints among object proposals are modeled as edges naturally. Furthermore, a fast mean field approximation method is utilized to inference in this CRF model efficiently. The experimental results demonstrate that our approach achieves a higher mean average precision (mAP) on PASCAL VOC 2007 datasets compared to the baseline algorithm Faster R-CNN.

研究动机与目标

• 解决当前SOTA检测器（如Faster R-CNN）忽略目标建议框之外上下文信息的局限性。
• 通过建模目标建议框之间的语义与空间关系，并引入全局场景上下文，提升检测精度。
• 将目标检测形式化为全连接CRF，利用学习到的上下文约束在建议框之间强制实现语义一致性。
• 通过快速均场近似方法实现CRF模型中的高效推理。
• 证明上下文建模在PASCAL VOC 2007等基准数据集上可显著提升性能。

提出的方法

• 该方法使用Faster R-CNN生成带有得分和边界框位置的目标建议框，作为CRF中的输入节点。
• CRF中的单变量势能直接由Faster R-CNN的分类得分生成，用于每个建议框。
• 成对势能基于物体建议框之间的语义相似性（类别共现）与空间接近度（相对位置）定义。
• 通过预训练的CNN捕捉全局场景上下文，用于估计图像中各类物体出现的可能性。
• 将上下文模型形式化为全连接CRF，其中边表示所有建议框对之间的上下文约束。
• 采用快速均场近似方法实现高效推理，联合预测所有建议框的标签与置信度分数。

实验结果

研究问题

• RQ1 将来自物体关系与全局场景理解的上下文信息整合，是否能超越仅依赖局部外观特征，提升目标检测性能？
• RQ2 在模糊或遮挡场景中，物体间的空间与语义关系如何影响检测置信度与准确性？
• RQ3 全局场景上下文在多大程度上有助于解决目标检测中的歧义，特别是对低分辨率或被遮挡物体？
• RQ4 能否在不重新训练的前提下，将基于深度特征的上下文模型高效集成到Faster R-CNN等两阶段检测器中？
• RQ5 所提出的基于CRF的框架是否在各类物体类别上一致地提升mAP，尤其是那些易产生误检的类别？

主要发现

• 与Faster R-CNN基线相比，所提方法在PASCAL VOC 2007数据集上实现了0.87%的平均平均精度（mAP）提升。
• 在'瓶子'类别上，平均精度（AP）提升了3.4%，表明对难以检测、可见度低的物体具有显著增益。
• 当使用VGG-16主干网络时，该模型在20个类别中的18个上提升了检测性能，仅在少数类别上出现轻微退化。
• 同时整合局部、关系与全局上下文，使预测更具语义一致性，显著减少了模糊场景中的误检。
• 该方法在不同主干网络上泛化良好，应用于ZF与VGG-16特征时均表现出一致的性能增益。
• 可视化结果表明，该模型能纠正复杂场景中的误判，但当全局场景识别失败时（如将非湖泊场景误判为湖泊），性能可能下降。