[论文解读] Contour Detection Using Cost-Sensitive Convolutional Neural Networks

Jyh-Jing Hwang, Tyng-Luh Liu|arXiv (Cornell University)|Dec 22, 2014

Medical Image Segmentation Techniques参考文献 32被引用 5

一句话总结

本文提出了一种针对基于DenseNet的卷积神经网络的成本敏感微调策略，以提升像素级轮廓检测性能。通过将ImageNet预训练模型适配于像素级分类，并在小规模边缘图像块数据集上利用成本敏感SVM进行集成学习，该方法在BSDS500数据集上实现了最先进性能，F-measure为0.80，ODS得分为0.76。

ABSTRACT

We address the problem of contour detection via per-pixel classifications of edge point. To facilitate the process, the proposed approach leverages with DenseNet, an efficient implementation of multiscale convolutional neural networks (CNNs), to extract an informative feature vector for each pixel and uses an SVM classifier to accomplish contour detection. The main challenge lies in adapting a pre-trained per-image CNN model for yielding per-pixel image features. We propose to base on the DenseNet architecture to achieve pixelwise fine-tuning and then consider a cost-sensitive strategy to further improve the learning with a small dataset of edge and non-edge image patches. In the experiment of contour detection, we look into the effectiveness of combining per-pixel features from different CNN layers and obtain comparable performances to the state-of-the-art on BSDS500.

研究动机与目标

• 解决将预训练的ImageNet CNN适配于轮廓检测中像素级边缘分类的挑战。
• 通过引入成本敏感学习策略，克服边缘检测小规模训练数据集的局限性。
• 探究深度网络中不同卷积层特征对轮廓检测的贡献。
• 通过融合来自不同网络层的多个微调特征流，提升性能。
• 证明结合正样本和负样本微调可获得优于单独使用任一方法的性能。

提出的方法

• 使用DenseNet作为主干网络，为每个图像像素提取多尺度、高层级特征。
• 应用像素级微调，将预训练的ImageNet CNN适配于像素级边缘分类，而非图像级分类。
• 通过为边缘（正样本）和非边缘（负样本）像素分配不同的误分类惩罚，实现成本敏感学习。
• 在小规模、精心筛选的边缘和非边缘图像块数据集上训练SVM分类器，以执行像素级预测。
• 将来自五个不同卷积层（Conv1至Conv5）的特征融合为多流集成模型，以增强检测鲁棒性。
• 使用最终的融合模型整合来自多个成本敏感微调特征流的预测结果，以最大化性能。

实验结果

研究问题

• RQ1 能否通过小规模数据集有效微调预训练的ImageNet CNN以实现像素级边缘检测？
• RQ2 不同卷积层的特征如何贡献于轮廓检测性能？
• RQ3 在边缘/非边缘数据分布不平衡的情况下，成本敏感学习是否能提升性能？
• RQ4 结合正样本和负样本微调特征流是否能带来优于单独使用任一方法的泛化能力？
• RQ5 在多个特征流上进行集成学习对最先进轮廓检测性能有何影响？

主要发现

• 所提出的成本敏感微调策略显著优于标准像素级微调，尤其在结合正样本和负样本微调流时性能提升明显。
• 最终的集成模型（CSCNN）在BSDS500基准测试中达到F-measure（AP）为0.80，ODS得分为0.76，优于现有方法。
• 第二、第三和第四卷积层的特征对检测准确率贡献最大，表明中层特征对边缘检测最具信息量。
• 融合全部五个卷积层的特征可获得最佳性能，表明低层纹理特征与高层对象线索均至关重要。
• 结合正样本和负样本微调带来的性能增益显著——F-measure提升0.2，证实二者具有互补性。
• 五流预训练模型本身已取得优异结果（0.75 ODS，0.77 OIS），表明通过适当适配的迁移学习在像素级任务中极为有效。