[论文解读] DeepEdge: A Multi-Scale Bifurcated Deep Network for Top-Down Contour Detection

Gedas Bertasius, Jianbo Shi+1 more|arXiv (Cornell University)|Dec 2, 2014

Medical Image Segmentation Techniques参考文献 32被引用 13

一句话总结

DeepEdge 提出了一种自顶向下的、多尺度的深度学习方法，通过利用深度网络（KNet）预训练的物体级特征来提升低层次轮廓预测。它采用双分支全连接子网络，分别优化边缘召回率与精确率，结合分类与回归分支，实现了在 BSDS500 数据集上的最先进性能，平均精度达 0.81，F-score 达 0.77。

ABSTRACT

Contour detection has been a fundamental component in many image segmentation and object detection systems. Most previous work utilizes low-level features such as texture or saliency to detect contours and then use them as cues for a higher-level task such as object detection. However, we claim that recognizing objects and predicting contours are two mutually related tasks. Contrary to traditional approaches, we show that we can invert the commonly established pipeline: instead of detecting contours with low-level cues for a higher-level recognition task, we exploit object-related features as high-level cues for contour detection. We achieve this goal by means of a multi-scale deep network that consists of five convolutional layers and a bifurcated fully-connected sub-network. The section from the input layer to the fifth convolutional layer is fixed and directly lifted from a pre-trained network optimized over a large-scale object classification task. This section of the network is applied to four different scales of the image input. These four parallel and identical streams are then attached to a bifurcated sub-network consisting of two independently-trained branches. One branch learns to predict the contour likelihood (with a classification objective) whereas the other branch is trained to learn the fraction of human labelers agreeing about the contour presence at a given point (with a regression criterion). We show that without any feature engineering our multi-scale deep learning approach achieves state-of-the-art results in contour detection.

研究动机与目标

• 通过利用高层物体特征作为低层次轮廓预测的线索，反转传统自底向上的轮廓检测流程。
• 通过深度学习架构整合多尺度的局部与全局图像上下文，提升轮廓检测的准确性。
• 证明联合优化边缘分类与人类标注一致性回归可同时提升精确率与召回率。
• 表明预训练的深度特征（来自物体分类任务）可显著提升轮廓检测性能，且无需人工特征工程。

提出的方法

• 该方法重用了 Krizhevsky 等人提出的 KNet 的前五个卷积层，该网络在 ImageNet 上预训练用于物体分类，用于从输入图像中提取分层特征。
• 将输入图像的四个并行、多尺度版本通过共享的卷积特征提取器处理，以捕捉局部与全局上下文。
• 提取的特征被输入到一个双分支全连接子网络中，包含两个独立训练的分支：一个用于边缘分类（使用二元交叉熵损失），另一个用于人类标注者一致性的回归（使用均方误差损失）。
• 在推理阶段，将两个分支的标量输出进行平均，生成每个候选点的最终轮廓得分。
• 候选轮廓点通过 Canny 边缘检测器生成，其周围区域在四个尺度下进行处理，以保留空间上下文信息。
• 提出了一种特征插值策略作为运行时优化，将每张图像的 KNet 评估次数从 60K 减少至 4 次。

实验结果

研究问题

• RQ1 来自预训练深度网络的高层物体特征能否提升低层次轮廓检测性能？
• RQ2 结合局部与全局上下文的多尺度深度网络是否优于单尺度方法，从而实现更好的轮廓检测？
• RQ3 在双分支网络架构中，独立优化分类与回归目标能否同时提升轮廓检测的精确率与召回率？
• RQ4 将人类标注者一致性作为回归目标，与标准边缘检测标准相比，能否更有效地模拟人类感知？

主要发现

• DeepEdge 在 BSDS500 数据集上实现了 0.81 的最先进平均精度，超越所有先前及同期方法。
• 仅回归分支即达到 0.80 的平均精度，表明其在识别高置信度轮廓像素方面表现优异。
• 仅分类分支的 F-score 为 0.76，表明其在检测真实轮廓方面具有高召回率与强鲁棒性。
• 融合两个分支的预测结果后，F-score 达 0.77，平均精度达 0.81，优于任一分支单独表现。
• 定性结果表明，DeepEdge 能有效抑制弱轮廓（如斑马条纹），同时保留强物体边界，与真实标签高度一致。
• 结合特征图插值后，该方法计算效率高，将每张图像的 KNet 评估次数从 60K 减少至仅 4 次，实现在 CPU 上的实时推理。