[论文解读] Deeply-Supervised Recurrent Convolutional Neural Network for Saliency Detection

Youbao Tang, Xiangqian Wu+1 more|arXiv (Cornell University)|Aug 18, 2016

Visual Attention and Saliency Detection参考文献 35被引用 4

一句话总结

该论文提出了一种深度监督的循环卷积神经网络（DSRCNN）用于显著性检测，通过在每个卷积层中引入循环连接以增强上下文特征学习，并利用侧输出层实现深度监督，从而提升特征判别能力。通过融合多尺度预测，该模型在五个基准数据集上实现了最先进性能，生成了高质量的显著性图。

ABSTRACT

This paper proposes a novel saliency detection method by developing a deeply-supervised recurrent convolutional neural network (DSRCNN), which performs a full image-to-image saliency prediction. For saliency detection, the local, global, and contextual information of salient objects is important to obtain a high quality salient map. To achieve this goal, the DSRCNN is designed based on VGGNet-16. Firstly, the recurrent connections are incorporated into each convolutional layer, which can make the model more powerful for learning the contextual information. Secondly, side-output layers are added to conduct the deeply-supervised operation, which can make the model learn more discriminative and robust features by effecting the intermediate layers. Finally, all of the side-outputs are fused to integrate the local and global information to get the final saliency detection results. Therefore, the DSRCNN combines the advantages of recurrent convolutional neural networks and deeply-supervised nets. The DSRCNN model is tested on five benchmark datasets, and experimental results demonstrate that the proposed method significantly outperforms the state-of-the-art saliency detection approaches on all test datasets.

研究动机与目标

• 通过有效捕捉图像中的局部、全局和上下文特征，提升显著性检测性能。
• 解决标准CNN在建模长距离依赖关系和上下文信息方面的局限性。
• 通过中间侧输出实现深度监督，增强特征学习能力。
• 融合多层级预测，实现鲁棒且精确的显著性图生成。
• 在基准数据集上相比现有最先进方法取得更优性能。

提出的方法

• DSRCNN以VGGNet-16作为主干网络架构。
• 在每个卷积层中引入循环连接，以逐步优化特征表示并建模长距离依赖关系。
• 在多个中间阶段添加侧输出层，以实现深度监督并提升训练稳定性。
• 每个侧输出生成一个显著性图，所有输出通过融合生成最终预测结果。
• 网络通过结合所有侧输出与最终输出的多任务损失进行训练。
• 通过残差连接和来自VGG-16主干的跳跃连接，实现端到端优化以增强特征学习。

实验结果

研究问题

• RQ1 卷积层中的循环连接是否能提升显著性检测的上下文特征学习能力？
• RQ2 通过中间侧输出实现的深度监督是否能带来更鲁棒且更具判别性的特征？
• RQ3 融合来自网络不同深度的多尺度预测是否能提升显著性图的质量？
• RQ4 所提出的DSRCNN在标准基准测试中与最先进方法相比表现如何？
• RQ5 局部、全局与上下文特征的融合在多大程度上提升了检测精度？

主要发现

• DSRCNN在所有五个基准数据集上显著优于现有的最先进显著性检测方法。
• 引入循环连接通过在特征图之间建模长距离依赖关系，提升了特征表示能力。
• 通过侧输出实现的深度监督增强了训练过程中的特征判别能力与网络鲁棒性。
• 融合多个阶段的预测结果可生成更精确且细节更丰富的显著性图。
• 在所有数据集上，该模型在平均绝对误差（MAE）、F-measure和精确率-召回率指标上均达到更优表现。
• 消融实验验证了循环连接与深度监督在提升性能方面的有效性。