[论文解读] Deep Edge-Aware Saliency Detection

Jing Zhang, Yuchao Dai+2 more|arXiv (Cornell University)|Aug 15, 2017

Visual Attention and Saliency Detection参考文献 6被引用 17

一句话总结

本文提出一种全卷积神经网络，以端到端方式联合学习显著边缘与显著图，通过新颖的跳跃连接结构和空洞卷积，整合手工设计先验与多尺度特征。该方法在10个基准数据集上达到最先进性能，显著提升复杂场景下（包括多个或小型显著目标）的边界清晰度与鲁棒性，同时保持约0.25秒/张图像的快速推理速度。

ABSTRACT

There has been profound progress in visual saliency thanks to the deep learning architectures, however, there still exist three major challenges that hinder the detection performance for scenes with complex compositions, multiple salient objects, and salient objects of diverse scales. In particular, output maps of the existing methods remain low in spatial resolution causing blurred edges due to the stride and pooling operations, networks often neglect descriptive statistical and handcrafted priors that have potential to complement saliency detection results, and deep features at different layers stay mainly desolate waiting to be effectively fused to handle multi-scale salient objects. In this paper, we tackle these issues by a new fully convolutional neural network that jointly learns salient edges and saliency labels in an end-to-end fashion. Our framework first employs convolutional layers that reformulate the detection task as a dense labeling problem, then integrates handcrafted saliency features in a hierarchical manner into lower and higher levels of the deep network to leverage available information for multi-scale response, and finally refines the saliency map through dilated convolutions by imposing context. In this way, the salient edge priors are efficiently incorporated and the output resolution is significantly improved while keeping the memory requirements low, leading to cleaner and sharper object boundaries. Extensive experimental analyses on ten benchmarks demonstrate that our framework achieves consistently superior performance and attains robustness for complex scenes in comparison to the very recent state-of-the-art approaches.

研究动机与目标

• 解决深度显著性模型在处理包含多个或小型显著目标的复杂场景时的局限性。
• 克服卷积神经网络中池化与步长操作导致的低分辨率输出图问题。
• 将手工设计的显著性先验（如边界、对比度、中心先验）与深度特征相结合，以提升检测精度。
• 有效融合来自不同网络层的多尺度特征，以增强对不同尺寸目标的响应能力。
• 在保持低内存与推理成本的前提下，保留高空间分辨率与清晰边缘。

提出的方法

• 将显著性检测重新表述为三分类密集标注问题：背景、显著边缘与显著目标，从而实现边缘感知的监督。
• 设计一种深度-浅层全卷积网络，采用新颖的跳跃连接结构，融合低层（细节丰富）与高层（语义丰富）特征。
• 将手工设计的显著性特征（如边界、对比度、中心先验）分层地整合到网络的低层与高层，以增强特征表示能力。
• 在上下文模块中应用空洞卷积，扩大感受野，并优化显著图以提升空间一致性和边缘锐度。
• 端到端训练整个网络，联合优化边缘与显著性预测，利用边缘先验作为监督信号。

实验结果

研究问题

• RQ1 联合学习显著边缘与显著图是否能提升深度显著性检测中的边界精度与分辨率？
• RQ2 手工设计的显著性先验在多大程度上可有效整合进深度神经网络，以提升复杂场景下的性能？
• RQ3 多尺度特征融合（尤其是自底向上与自顶向下特征的结合）是否能提升对小型显著目标的检测能力？
• RQ4 空洞卷积是否能有效恢复空间分辨率并增强边缘锐度，同时不增加内存开销？
• RQ5 所提方法在包含多个或极小显著目标的数据集上是否具有良好的泛化能力？

主要发现

• 所提方法在10个基准数据集上均达到最先进性能，显著优于11种近期最先进方法。
• 在小型显著目标数据集（如DUT，其中>50%图像的显著区域小于图像面积的10%）上，该方法取得最高的平均F-measure与最大F-measure，证明其在小目标检测方面具有卓越能力。
• 模型保持约0.25秒/张图像的快速推理时间，表明在高精度下仍具备高效性。
• 底层特征与手工设计先验的融合显著提升了对小型显著目标的性能，'Our(s)'在小型目标子集上全面超越所有基线模型。
• 该方法在多显著目标场景中具有良好的泛化能力，在HKU-IS数据集的单目标与多目标子集上均取得最佳PR曲线表现，证实对目标数量变化的鲁棒性。
• 消融实验表明，边缘感知监督与多尺度特征融合是提升边缘锐度与整体精度的关键因素。