[论文解读] segDeepM: Exploiting Segmentation and Context in Deep Neural Networks for Object Detection

Yukun Zhu, Raquel Urtasun+2 more|arXiv (Cornell University)|Feb 15, 2015

Advanced Neural Network Applications参考文献 21被引用 52

一句话总结

该论文提出 segDeepM，一种基于马尔可夫随机场（MRF）的物体检测框架，通过深度神经网络将实例分割提议与上下文特征进行结构化融合，以提升检测精度。通过允许检测假设动态选择并评分高质量的分割提议，并迭代优化边界框，segDeepM 在 PASCAL VOC 2010 上相较于 R-CNN 实现了 4.1% 的 mAP 提升，在当前最先进方法上也提升了 1.4%，证明了在深度检测模型中结构化融合分割与上下文信息的价值。

ABSTRACT

In this paper, we propose an approach that exploits object segmentation in order to improve the accuracy of object detection. We frame the problem as inference in a Markov Random Field, in which each detection hypothesis scores object appearance as well as contextual information using Convolutional Neural Networks, and allows the hypothesis to choose and score a segment out of a large pool of accurate object segmentation proposals. This enables the detector to incorporate additional evidence when it is available and thus results in more accurate detections. Our experiments show an improvement of 4.1% in mAP over the R-CNN baseline on PASCAL VOC 2010, and 3.4% over the current state-of-the-art, demonstrating the power of our approach.

研究动机与目标

• 通过利用精确的物体分割提议和上下文线索来提升物体检测精度。
• 通过支持边界框定位的迭代优化，降低对初始候选框的依赖。
• 设计一种计算高效的模型，在不增加网络深度或规模的前提下提升检测性能。
• 探究在结构化概率框架中是否能有效融合分割与上下文信息以用于检测。
• 评估缺失标注对检测性能及模型鲁棒性的影响。

提出的方法

• 将物体检测建模为马尔可夫随机场（MRF）中的推理问题，其中每个检测假设使用卷积神经网络（CNN）对外观和上下文特征进行评分。
• 为每个检测假设整合来自 CPMC 的前 150 个高质量物体分割提议作为候选区域。
• 通过在分割提议上使用二阶池化（O2P）训练类别特定分类器，以评分分割与检测的一致性。
• 采用迭代定位策略，交替进行检测重评分与边界框重定位，以改善空间对齐精度。
• 利用在 PASCAL VOC 上微调的 7 层或 16 层 CNN 提取特征，特征图来自最后一层卷积层。
• 应用后处理步骤，包括非极大值抑制和置信度阈值筛选，以优化最终检测结果。

实验结果

研究问题

• RQ1 将高质量分割提议集成到检测流程中，是否能在不增加模型深度的前提下显著提升 mAP？
• RQ2 整合上下文信息与分割特征，对检测鲁棒性与定位精度有何影响？
• RQ3 迭代边界框优化在多大程度上减少了对初始候选提议的依赖，并提升了检测性能？
• RQ4 缺失或模糊的真实标注对现代深度检测模型中误报率有何影响？
• RQ5 轻量级、基于结构化 MRF 的分割与检测融合方法，是否能在参数更少的情况下超越当前最先进模型？

主要发现

• 使用 7 层网络时，segDeepM 在 PASCAL VOC 2010 测试集上相较于 R-CNN 基线实现了 4.1% 的平均平均精度（mAP）绝对提升。
• 使用 16 层网络时，segDeepM 相较于 R-CNN 实现了 4.3% 的 mAP 提升，并在相同基准上超越当前最先进方法 1.4%。
• 迭代边界框预测步骤相较于 R-CNN 贡献了 1.4% 的 mAP 提升，且性能在两次迭代后趋于饱和。
• 该方法在计算开销极低的情况下保持高性能，仅增加少量额外参数即实现显著精度提升。
• 当将迭代定位与完整 segDeepM 结合时，观察到 1.4% 的显著 mAP 提升，表明两部分存在协同增益。
• 分析显示，相当数量的误报源于缺失或模糊的真实标注，凸显了标注质量在高性能模型中的日益突出的瓶颈作用。