[论文解读] LCNN: Low-level Feature Embedded CNN for Salient Object Detection

Hongyang Li, Huchuan Lu+3 more|arXiv (Cornell University)|Aug 17, 2015

Visual Attention and Saliency Detection参考文献 15被引用 13

一句话总结

本文提出LCNN，一种深度卷积神经网络，通过将卷积神经网络学习到的高层语义特征与低层次特征（如对比度和空间线索）相结合，实现显著目标检测。通过拼接这些特征并采用铰链损失支持向量机进行联合判别学习，LCNN在MSRA-5000、PASCAL-S和ECCSD基准上实现了最先进性能，F-measure和平均绝对误差均优于先前方法。

ABSTRACT

In this paper, we propose a novel deep neural network framework embedded with low-level features (LCNN) for salient object detection in complex images. We utilise the advantage of convolutional neural networks to automatically learn the high-level features that capture the structured information and semantic context in the image. In order to better adapt a CNN model into the saliency task, we redesign the network architecture based on the small-scale datasets. Several low-level features are extracted, which can effectively capture contrast and spatial information in the salient regions, and incorporated to compensate with the learned high-level features at the output of the last fully connected layer. The concatenated feature vector is further fed into a hinge-loss SVM detector in a joint discriminative learning manner and the final saliency score of each region within the bounding box is obtained by the linear combination of the detector's weights. Experiments on three challenging benchmark (MSRA-5000, PASCAL-S, ECCSD) demonstrate our algorithm to be effective and superior than most low-level oriented state-of-the-arts in terms of P-R curves, F-measure and mean absolute errors.

研究动机与目标

• 通过结合卷积神经网络的高层语义特征与低层次视觉线索，提升复杂图像中显著目标检测的性能。
• 解决在前景与背景颜色或纹理相似的复杂场景中，手工设计的低层次先验方法的局限性。
• 通过联合学习框架将低层次特征与深度特征整合，增强判别能力。
• 在基准数据集上的表现优于现有基于低层次特征和深度学习的显著性检测方法。

提出的方法

• 在小规模数据集上训练改进的卷积神经网络架构，以从候选边界框内的图像块中提取高层语义特征。
• 从每个区域提取低层次特征——特别是对比度和空间描述符——以捕捉局部强度和结构差异。
• 将高层卷积神经网络特征与低层次描述符拼接成每个区域的单一特征向量。
• 在拼接后的特征上训练铰链损失支持向量机，将每个区域分类为前景或背景，显著性得分由支持向量机的置信权重得出。
• 通过选择性搜索生成初始边界框，将所有候选区域的SVM置信得分相加，生成最终的显著性图。
• 整个流程通过端到端的联合判别学习进行训练，同时优化特征表示与分类准确率。

实验结果

研究问题

• RQ1 将低层次特征与深度卷积神经网络特征结合，是否能提升复杂场景下的显著性检测性能？
• RQ2 高层语义与低层次线索的联合学习如何影响在基准数据集上的性能表现？
• RQ3 对比度与空间低层次特征在提升检测精度方面的相对贡献是什么？
• RQ4 当与深度特征和低层次先验结合时，铰链损失支持向量机能否有效区分显著区域？
• RQ5 在F-measure和平均绝对误差方面，LCNN与最先进方法相比表现如何？

主要发现

• 在ECCSD数据集上，LCNN取得了0.712的最高F-measure，优于所有对比方法。
• 在PASCAL-S上，LCNN的平均绝对误差（MAE）最低，为0.164，表明其显著性预测精度更优。
• 在MSRA-5000上，LCNN的F-measure为0.79，MAE为0.12，表现位居顶尖方法之列。
• 消融实验表明，对比度特征的贡献显著高于空间特征，两者结合可获得最佳性能。
• 引入铰链损失支持向量机检测器显著提升了性能，尤其在低召回率区域，得益于更优的判别学习。
• 视觉对比显示，LCNN即使在显著目标与背景颜色或纹理相似时，仍能有效检测显著对象，优于仅依赖低层次特征或物体性方法的模型。