[论文解读] Deep Learning for Object Saliency Detection and Image Segmentation

Hengyue Pan, Bo Wang+1 more|arXiv (Cornell University)|May 5, 2015

Visual Attention and Saliency Detection参考文献 18被引用 19

一句话总结

本文提出了一种基于梯度优化的新型深度学习方法，用于使用预训练卷积神经网络（DCNNs）进行对象显著性检测。通过在预训练DCNN上迭代地使用梯度下降修改输入图像，以最小化特定类别的对象性损失函数，该方法生成高质量的显著性图，即原始图像与修改后图像之间的差异。该方法在单张GPU上实现了每秒20至40张图像的推理速度，并在MS COCO和Pascal VOC 2012数据集上显著优于现有方法，尤其在具有复杂背景、小尺寸或多个显著对象的挑战性图像上表现优异。

ABSTRACT

In this paper, we propose several novel deep learning methods for object saliency detection based on the powerful convolutional neural networks. In our approach, we use a gradient descent method to iteratively modify an input image based on the pixel-wise gradients to reduce a cost function measuring the class-specific objectness of the image. The pixel-wise gradients can be efficiently computed using the back-propagation algorithm. The discrepancy between the modified image and the original one may be used as a saliency map for the image. Moreover, we have further proposed several new training methods to learn saliency-specific convolutional nets for object saliency detection, in order to leverage the available pixel-wise segmentation information. Our methods are extremely computationally efficient (processing 20-40 images per second in one GPU). In this work, we use the computed saliency maps for image segmentation. Experimental results on two benchmark tasks, namely Microsoft COCO and Pascal VOC 2012, have shown that our proposed methods can generate high-quality salience maps, clearly outperforming many existing methods. In particular, our approaches excel in handling many difficult images, which contain complex background, highly-variable salient objects, multiple objects, and/or very small salient objects.

研究动机与目标

• 开发一种计算高效的基于深度卷积神经网络的显著性检测方法。
• 利用像素级分割标注来训练专门用于显著性的DCNN，以提升性能。
• 生成高质量的显著性图，以有效驱动图像分割流程。
• 解决在复杂图像中显著性检测的挑战，包括多个、小尺寸或高度可变的显著对象。
• 在单张GPU上实现实时性能（每秒20–40张图像），同时保持高精度。

提出的方法

• 通过反向传播DCNN分类损失的梯度，使用梯度下降迭代修改输入图像，以优化图像像素，从而最大化特定类别的对象性。
• 在经过若干梯度下降步骤后，将显著性图计算为原始图像与优化后图像之间的L2差异。
• 使用原始图像和掩码图像（其中显著对象被移除）训练多个DCNN，以学习不同上下文中的对象性。
• 采用两阶段训练策略：一个DCNN用于原始图像，另一个用于掩码图像，损失函数分别设计用于衡量每种情况下的对象性。
• 将优化后图像生成的显著性图作为输入，输入至基于MCG的分割算法，以生成最终的图像分割结果。
• 在优化前对显著性图应用图像膨胀和腐蚀操作，以平滑图像，提升定位精度。

实验结果

研究问题

• RQ1 通过预训练DCNN对输入图像进行基于梯度的优化，能否生成用于目标检测的高质量显著性图？
• RQ2 在DCNN训练过程中引入掩码图像，能否显著提升显著性检测性能？
• RQ3 所提出的方法能否在保持优于现有方法的同时，实现实时推理速度（20–40张图像/秒）？
• RQ4 该方法在具有复杂背景、多个显著对象或极小对象的挑战性图像上的有效性如何？
• RQ5 该方法生成的显著性图在提升下游图像分割性能方面有多大作用？

主要发现

• 所提方法在单张GPU上实现了每秒20至40张图像的推理速度，使其在实时应用中极具效率。
• 在MS COCO数据集上，该方法在Fβ分数上优于[6]和[21]，其中性能最佳的变体（CNN2+CNN3）取得了最高的Fβ值。
• 在Pascal VOC 2012数据集上，尽管使用了较少的领域内微调图像，该方法的Fβ分数与[6]相当，且略优于[6]。
• 在训练中使用掩码图像显著提升了显著性检测性能，尤其是在复杂场景中准确定位显著对象方面。
• 将该方法生成的显著性图作为SaliencyCut算法的输入，可实现更优的图像分割结果，在COCO和VOC 2012数据集上均优于基线方法。
• 可视化示例表明，即使在具有复杂背景或多个显著区域的图像中，该方法也能有效定位显著对象，而基于自底向上的方法（如区域对比）则会失效。