[论文解读] Edge-guided Non-local Fully Convolutional Network for Salient Object Detection

Zhengzheng Tu, Yan Ma+3 more|arXiv (Cornell University)|Aug 7, 2019

Visual Attention and Saliency Detection参考文献 52被引用 7

一句话总结

该论文提出ENFNet，一种新颖的边缘引导非局部全卷积网络，用于显著性物体检测。通过引导模块整合边缘先验知识，ENFNet能够精确保留物体边界。通过融合分层非局部特征与边缘感知的空间和通道变换，ENFNet在五个基准数据集上实现了最先进性能，显著提升了F-measure并降低了MAE，相比先前方法表现更优。

ABSTRACT

Fully Convolutional Neural Network (FCN) has been widely applied to salient object detection recently by virtue of high-level semantic feature extraction, but existing FCN based methods still suffer from continuous striding and pooling operations leading to loss of spatial structure and blurred edges. To maintain the clear edge structure of salient objects, we propose a novel Edge-guided Non-local FCN (ENFNet) to perform edge guided feature learning for accurate salient object detection. In a specific, we extract hierarchical global and local information in FCN to incorporate non-local features for effective feature representations. To preserve good boundaries of salient objects, we propose a guidance block to embed edge prior knowledge into hierarchical feature maps. The guidance block not only performs feature-wise manipulation but also spatial-wise transformation for effective edge embeddings. Our model is trained on the MSRA-B dataset and tested on five popular benchmark datasets. Comparing with the state-of-the-art methods, the proposed method achieves the best performance on all datasets.

研究动机与目标

• 为解决基于FCN的显著性物体检测中因步幅和池化操作导致的物体边界退化问题。
• 通过分层非局部结构整合局部对比度与全局上下文信息，增强特征表示能力。
• 通过专用引导模块嵌入边缘先验知识，执行空间和通道维度的特征变换，提升边界定位精度。
• 在不依赖后处理的情况下，实现在多个基准数据集上的最先进性能。

提出的方法

• 引入引导模块，利用空间特征自适应仿射变换将边缘先验嵌入特征图，实现通道和空间维度的联合特征调控。
• 在FCN的多个层级上计算分层非局部特征，以捕捉长距离依赖关系并增强全局上下文信息。
• 使用EdgeNet提取边缘图，并将其作为先验知识，指导每个卷积层的特征学习过程。
• 通过融合边缘感知的局部对比度特征与FCN提取的非局部全局上下文特征，生成最终显著性图。
• 网络在MSRA-B数据集上端到端训练，并在五个标准基准数据集上进行评估：HKU-IS、PASCAL-S、DUT-OMRON、ECSSD和SOD。
• 消融实验验证了引导模块的有效性及其在多层中的位置选择。

实验结果

研究问题

• RQ1 能否有效将边缘先验知识整合到全卷积网络中，以提升显著性物体检测中的边界保持能力？
• RQ2 所提出的边缘引导非局部机制与标准FCN及非局部网络相比，在特征表示和定位精度方面表现如何？
• RQ3 在边缘引导下，局部对比度与全局上下文特征的分层融合是否能在多样化的数据集上带来一致的性能提升？
• RQ4 引导模块的数量和位置对检测性能有何影响？

主要发现

• ENFNet在所有五个基准数据集上均取得最高的F-measure，在DUT-OMRON上较次优方法NLDF提升2.6%，在SOD上提升2.1%。
• 相比次优方法NLDF，ENFNet在DUT-OMRON上将MAE降低15%，在SOD上降低9%，证明其边界精度更优。
• 在HKU-IS数据集上，ENFNet的F-measure达到0.915，MAE为0.040，两项指标均优于所有对比方法。
• 视觉对比显示，ENFNet生成的显著性图更清晰，边界预测更一致，尤其在包含多个显著物体的复杂场景中表现更优。
• 消融实验证实，引导模块显著提升性能，且在浅层使用三个引导模块时效果最佳。
• 即使不使用CRF后处理，ENFNet仍优于采用CRF优化的DCL方法，验证了所提架构的鲁棒性。