[论文解读] Salient Object Detection by Lossless Feature Reflection

Pingping Zhang, Wei Liu+2 more|arXiv (Cornell University)|Feb 19, 2018

Visual Attention and Saliency Detection参考文献 11被引用 9

一句话总结

该论文提出了一种对称全卷积网络（SFCN），通过无损特征反射机制，联合学习互补特征并施加结构化监督，以提升显著性目标检测性能。该方法通过一种新颖的结构化损失函数，整合位置、上下文和语义信息，在七个基准数据集上实现了最先进性能，显著提升了边界准确率和空间一致性。

ABSTRACT

Salient object detection, which aims to identify and locate the most salient pixels or regions in images, has been attracting more and more interest due to its various real-world applications. However, this vision task is quite challenging, especially under complex image scenes. Inspired by the intrinsic reflection of natural images, in this paper we propose a novel feature learning framework for large-scale salient object detection. Specifically, we design a symmetrical fully convolutional network (SFCN) to learn complementary saliency features under the guidance of lossless feature reflection. The location information, together with contextual and semantic information, of salient objects are jointly utilized to supervise the proposed network for more accurate saliency predictions. In addition, to overcome the blurry boundary problem, we propose a new structural loss function to learn clear object boundaries and spatially consistent saliency. The coarse prediction results are effectively refined by these structural information for performance improvements. Extensive experiments on seven saliency detection datasets demonstrate that our approach achieves consistently superior performance and outperforms the very recent state-of-the-art methods.

研究动机与目标

• 解决在复杂图像场景下显著性目标检测中出现的边界模糊与定位不佳问题。
• 克服深度网络中下采样操作导致的空间细节与位置信息退化问题。
• 通过由无损特征反射引导的对称网络分支，利用互补特征提升特征表示能力。
• 通过整合位置、上下文与语义线索的结构化监督，提升检测性能。
• 开发一种端到端可训练框架，无需分割预训练即可超越现有最先进方法。

提出的方法

• 设计一种具有两个共享权重的对称全卷积网络（SFCN）分支，处理互逆图像对，通过无损特征反射学习互补视觉特征。
• 实现一个融合分支，分层聚合来自对称分支的多级特征，生成精细化显著图。
• 提出一种新颖的结构化损失函数，结合加权二值交叉熵、边界感知损失（$\mathcal{L}_{sc}$）与空间一致性损失（$\mathcal{L}_{s1}$），用于监督所有三个分支。
• 利用结构化损失联合优化显著性预测的准确性、清晰的物体边界以及特征图之间的空间一致性。
• 使用二值交叉熵与所提出的结构化损失组合进行端到端训练，并从ImageNet预训练模型进行微调。
• 利用特征反射保留高分辨率细节，提升特征互补性，尤其在低对比度或杂乱场景中表现更优。

实验结果

研究问题

• RQ1 在对称全卷积网络中，无损特征反射是否能提升特征互补性与显著性检测性能？
• RQ2 整合位置、上下文与语义信息的结构化监督在多大程度上提升了边界准确率与空间一致性？
• RQ3 与标准二值交叉熵相比，所提出的结构化损失在处理低对比度或杂乱背景的复杂场景时表现如何？
• RQ4 SFCN框架是否在无需分割预训练的情况下，于多样化基准上实现一致的性能提升？
• RQ5 各组件（如特征反射、分层融合、结构化损失）对整体性能提升的贡献分别是什么？

主要发现

• 所提方法在ECSSD数据集上达到0.880的最高F-measure，在SED2数据集上达到0.897，优于所有对比的最先进方法，覆盖七个基准数据集。
• 包含全部损失组件的模型（$\mathcal{L}_{wbce} + \mathcal{L}_{sc} + \mathcal{L}_{s1}$）在ECSSD上实现最低的MAE（0.049），表明其在像素级精度上表现更优。
• 在DUT-OMRON与SED数据集上，该方法显著优于近期最先进方法，其性能提升主要归因于结构化损失函数。
• 即使不进行分割预训练，从ImageNet微调的模型仍优于DCL与RFCN，展现出强大的泛化能力。
• 消融实验验证了各组件（尤其是结构化损失）对性能提升的贡献，完整模型在所有指标上均取得最佳结果。
• 定性结果表明，该方法能更好地保持清晰边界，并在低对比度或边界相邻物体等复杂情况下完整捕捉显著结构。