[论文解读] A Deep Spatial Contextual Long-term Recurrent Convolutional Network for Saliency Detection

Nian Liu, Junwei Han|arXiv (Cornell University)|Oct 6, 2016

Visual Attention and Saliency Detection参考文献 56被引用 22

一句话总结

本文提出了一种深度空间上下文长期循环卷积神经网络（DSCLRCN），通过引入一种新型的深度空间上下文LSTM（DSCLSTM），实现对全局空间上下文和场景级调制的建模，以提升显著性检测性能。通过将长短期记忆单元与空间上下文建模相结合，该网络能够捕捉长距离依赖关系，并提升显著性预测的准确性，在基准数据集上通过端到端训练实现了最先进性能。

ABSTRACT

Traditional saliency models usually adopt hand-crafted image features and human-designed mechanisms to calculate local or global contrast. In this paper, we propose a novel computational saliency model, i.e., deep spatial contextual long-term recurrent convolutional network (DSCLRCN) to predict where people looks in natural scenes. DSCLRCN first automatically learns saliency related local features on each image location in parallel. Then, in contrast with most other deep network based saliency models which infer saliency in local contexts, DSCLRCN can mimic the cortical lateral inhibition mechanisms in human visual system to incorporate global contexts to assess the saliency of each image location by leveraging the deep spatial long short-term memory (DSLSTM) model. Moreover, we also integrate scene context modulation in DSLSTM for saliency inference, leading to a novel deep spatial contextual LSTM (DSCLSTM) model. The whole network can be trained end-to-end and works efficiently when testing. Experimental results on two benchmark datasets show that DSCLRCN can achieve state-of-the-art performance on saliency detection. Furthermore, the proposed DSCLSTM model can significantly boost the saliency detection performance by incorporating both global spatial interconnections and scene context modulation, which may uncover novel inspirations for studies on them in computational saliency models.

研究动机与目标

• 克服传统显著性模型依赖手工设计特征和局部对比机制的局限性。
• 通过模拟人类视觉皮层侧抑制机制，建模图像中的长距离空间依赖关系，以提升显著性预测性能。
• 将场景上下文调制整合到循环空间建模中，以增强全局上下文感知能力。
• 开发一种可端到端训练的深度网络，以同时捕捉局部特征与全局上下文关系。
• 通过新颖的网络架构设计，在基准显著性检测数据集上实现卓越性能。

提出的方法

• 提出一种深度空间长短期记忆（DSLSTM）模块，用于建模图像位置之间的长距离空间依赖关系。
• 引入一种深度空间上下文LSTM（DSCLSTM），将空间上下文建模与场景级调制相结合，以提升显著性推理性能。
• 采用并行卷积特征学习方法，在每个图像位置提取与显著性相关的局部特征。
• 利用长期循环连接在空间位置之间传播上下文信息，模拟人类视觉系统中的侧抑制机制。
• 将场景上下文调制集成到LSTM门控机制中，根据全局场景语义动态调整特征表示。
• 使用真实显著性图作为监督信号，通过有监督学习对整个网络进行端到端训练。

实验结果

研究问题

• RQ1 深度循环网络是否能有效建模显著性检测中超越局部上下文的长距离空间依赖关系？
• RQ2 引入场景上下文调制在多大程度上提升了显著性预测性能？
• RQ3 具有空间长短期记忆的循环架构能否捕捉到与人类视觉处理相当的全局视觉上下文？
• RQ4 统一网络的端到端训练是否优于传统的两阶段方法或手工设计特征方法？
• RQ5 所提出的DSCLSTM在标准显著性检测基准上能将最先进性能提升到何种程度？

主要发现

• 所提出的DSCLRCN在两个基准显著性检测数据集上实现了最先进性能，优于现有方法。
• 将场景上下文调制集成到DSCLSTM中显著提升了检测准确率，增强了全局上下文感知能力。
• DSCLSTM模型有效捕捉了长距离空间关联，使显著性预测超越了仅依赖局部上下文建模的性能。
• 全网络的端到端训练实现了高效的推理和鲁棒的特征学习，无需手工设计组件。
• 该模型在多样化自然场景中表现出强大的泛化能力，表明其有效建模了类人视觉注意机制。
• 消融实验确认，长期循环结构与场景上下文调制均对性能提升有显著贡献。