[论文解读] A Deep Learning Based Fast Image Saliency Detection Algorithm

Hengyue Pan, Hui Jiang|arXiv (Cornell University)|Feb 1, 2016

Visual Attention and Saliency Detection参考文献 23被引用 7

一句话总结

本文提出了一种基于深度学习的快速目标显著性检测方法，通过在预训练的卷积神经网络（CNN）上使用梯度下降来生成类别特定的显著性图。通过反向传播强调目标性并抑制背景的损失函数，该方法从输入梯度计算原始显著性图，再利用SLIC超像素和低级特征进行优化，实现比当前最先进深度学习方法快约10倍的高质量结果。

ABSTRACT

In this paper, we propose a fast deep learning method for object saliency detection using convolutional neural networks. In our approach, we use a gradient descent method to iteratively modify the input images based on the pixel-wise gradients to reduce a pre-defined cost function, which is defined to measure the class-specific objectness and clamp the class-irrelevant outputs to maintain image background. The pixel-wise gradients can be efficiently computed using the back-propagation algorithm. We further apply SLIC superpixels and LAB color based low level saliency features to smooth and refine the gradients. Our methods are quite computationally efficient, much faster than other deep learning based saliency methods. Experimental results on two benchmark tasks, namely Pascal VOC 2012 and MSRA10k, have shown that our proposed methods can generate high-quality salience maps, at least comparable with many slow and complicated deep learning methods. Comparing with the pure low-level methods, our approach excels in handling many difficult images, which contain complex background, highly-variable salient objects, multiple objects, and/or very small salient objects.

研究动机与目标

• 解决在具有复杂背景或小而多变的显著目标的挑战性图像上，对计算高效且保持高精度的显著性检测的需求。
• 克服传统低级显著性方法在背景复杂或存在多个显著目标的图像上常失效的局限性。
• 开发一种方法，利用深度CNN的表征能力，同时避免昂贵的后处理或微调。
• 实现实时性能，同时在质量上匹配或超过更慢、更复杂的深度学习显著性模型。

提出的方法

• 使用预训练的深度卷积神经网络（DCNN）作为图像分类骨干网络，用于显著性检测。
• 定义一个衡量类别特定目标性的损失函数，并对与类别无关的输出施加惩罚，以保持背景一致性。
• 应用梯度下降，通过网络反向传播损失函数的梯度，迭代地修改输入图像直至输入层。
• 在几次梯度下降步骤后，提取原始显著性图作为原始输入与优化后输入图像之间的L2差异。
• 使用SLIC超像素平滑原始显著性图，以减少噪声并提高空间一致性。
• 通过整合低级显著性特征（如颜色对比度、亮度）进一步优化显著性图，以增强边界定位精度和细节表现。

实验结果

研究问题

• RQ1 在预训练的DCNN上基于梯度的优化方法是否能比现有深度学习方法更高效地生成高质量显著性图？
• RQ2 与基于低级特征的方法相比，该方法在具有复杂背景、多个显著目标或极小显著区域的图像上的表现如何？
• RQ3 SLIC超像素和低级特征在多大程度上提升了基于梯度优化生成的显著性图的质量与鲁棒性？
• RQ4 与当前最先进深度学习显著性模型相比，该方法在Pascal VOC 2012和MSRA10k等基准数据集上的速度与精度表现如何？

主要发现

• 该方法在单张GPU上实现每张图像约0.45秒的平均推理时间，比文献[25]中的最先进方法快近10倍。
• 在Pascal VOC 2012数据集上，该方法在PR曲线和Fβ分数上均优于区域对比方法[6]和基于DCNN的方法[19]，性能与[25]相当。
• 在MSRA10k数据集上，尽管使用未经微调的ImageNet预训练DCNN（存在模型不匹配问题），该方法仍略逊于[25]，但显著优于[6]和[19]。
• 该方法在困难图像上表现出卓越的鲁棒性——如具有复杂背景、多个显著目标或极小显著区域的图像，而低级方法在此类图像上常失效。
• SLIC超像素与低级特征的融合显著提升了显著性图的质量，减少了噪声并增强了边界定位能力。
• 通过梯度下降生成的原始显著性图已具有效果，而后续的优化流程确保了无需端到端训练或复杂架构即可获得高保真结果。