[论文解读] F3Net: Fusion, Feedback and Focus for Salient Object Detection

Jun Wei, Shuhui Wang+1 more|arXiv (Cornell University)|Nov 26, 2019

Visual Attention and Saliency Detection参考文献 35被引用 113

一句话总结

F3 Net 引入一个跨特征模块用于选择性多层特征融合，一个级联反馈解码器用于迭代细化，以及一个像素位置感知损失以强调难以处理的像素，在五个数据集上达到最先进的显著目标检测。

ABSTRACT

Most of existing salient object detection models have achieved great progress by aggregating multi-level features extracted from convolutional neural networks. However, because of the different receptive fields of different convolutional layers, there exists big differences between features generated by these layers. Common feature fusion strategies (addition or concatenation) ignore these differences and may cause suboptimal solutions. In this paper, we propose the F3Net to solve above problem, which mainly consists of cross feature module (CFM) and cascaded feedback decoder (CFD) trained by minimizing a new pixel position aware loss (PPA). Specifically, CFM aims to selectively aggregate multi-level features. Different from addition and concatenation, CFM adaptively selects complementary components from input features before fusion, which can effectively avoid introducing too much redundant information that may destroy the original features. Besides, CFD adopts a multi-stage feedback mechanism, where features closed to supervision will be introduced to the output of previous layers to supplement them and eliminate the differences between features. These refined features will go through multiple similar iterations before generating the final saliency maps. Furthermore, different from binary cross entropy, the proposed PPA loss doesn't treat pixels equally, which can synthesize the local structure information of a pixel to guide the network to focus more on local details. Hard pixels from boundaries or error-prone parts will be given more attention to emphasize their importance. F3Net is able to segment salient object regions accurately and provide clear local details. Comprehensive experiments on five benchmark datasets demonstrate that F3Net outperforms state-of-the-art approaches on six evaluation metrics.

研究动机与目标

• 减小在显著性检测中的多层CNN特征之间的差异（不同感受野）以提升融合质量。
• 引入选择性融合机制，抑制冗余信息，同时保留互补细节。
• 通过迭代的级联反馈来细化多层特征，以增强边界清晰度并改善局部细节。
• 引入一种按局部结构上下文对像素加权的损失，以强调困难、边界和细节丰富的区域。
• 在多项基准数据集上通过全面消融展示最先进的性能。

提出的方法

• 提出 Cross Feature Module (CFM)，通过逐元素相乘融合低层与高层特征以提取公共部分，然后加回原始特征以完善表征。
• 开发 Cascaded Feedback Decoder (CFD)，包含多个子解码器，通过 CFM 进行自底向上的聚合并向前一层进行自顶向下的特征反馈，形成网格状的细化网络。
• 引入 Pixel Position Aware (PPA) 损失，将定位感知的加权 BCE 与加权 IoU 损失结合，以强调难以处理的像素并保留局部结构。
• 在 CFD 各阶段进行多层次监督（MLS），以稳定优化并提升学习。
• 以 ResNet-50 作为骨干网络，并采用逐步细化的解码路径来生成最终的显著性图，无需后处理。
• 在五个数据集上进行评估并进行消融实验，以展示 CFM、CFD 和 PPA 的贡献。

实验结果

研究问题

• RQ1 如何更有效地融合多层CNN特征，以减少冗余并在显著性图中保留语义与空间细节？
• RQ2 基于反馈的解码方案是否能够迭代地细化特征以恢复边界精度和局部结构？
• RQ3 与标准的 BCE 或 IoU 损失相比，像素位置感知损失是否提升对难以处理像素和边界区域的检测？
• RQ4 在基准测试中整合 MLS、CFM 和 CFD 对标准显著性度量的实证影响如何？

主要发现

• F3 Net 在五个数据集、六个指标上超越现有方法，取得更优性能。
• CFM 通过选择性融合有效抑制背景噪声并提升高层边界的清晰度。
• CFD 通过将细化后的特征反馈给前一层实现迭代细化，从而提升显著性图的质量。
• PPA 损失强调困难像素并结合局部结构，改善边界和细节表示。
• 消融研究表明 CFM、CFD、MLS 和 PPA 共同贡献了最好的结果。
• 该模型在不需要后处理的情况下，提供更清晰的显著性图、背景噪声更少且表现稳健。