[论文解读] Cascaded Partial Decoder for Fast and Accurate Salient Object Detection

Zhe Wu, Li Su+1 more|arXiv (Cornell University)|Apr 18, 2019

Visual Attention and Saliency Detection参考文献 43被引用 100

一句话总结

介绍了一种级联部分解码器（CPD），通过舍弃低层高分辨率特征来提升速度，同时利用生成的显著性图来细化更深层特征以提升准确性，在五个基准数据集上达到最新技术水平并实现更快的推断。

ABSTRACT

Existing state-of-the-art salient object detection networks rely on aggregating multi-level features of pre-trained convolutional neural networks (CNNs). Compared to high-level features, low-level features contribute less to performance but cost more computations because of their larger spatial resolutions. In this paper, we propose a novel Cascaded Partial Decoder (CPD) framework for fast and accurate salient object detection. On the one hand, the framework constructs partial decoder which discards larger resolution features of shallower layers for acceleration. On the other hand, we observe that integrating features of deeper layers obtain relatively precise saliency map. Therefore we directly utilize generated saliency map to refine the features of backbone network. This strategy efficiently suppresses distractors in the features and significantly improves their representation ability. Experiments conducted on five benchmark datasets exhibit that the proposed model not only achieves state-of-the-art performance but also runs much faster than existing models. Besides, the proposed framework is further applied to improve existing multi-level feature aggregation models and significantly improve their efficiency and accuracy.

研究动机与目标

• 通过在深度显著性模型中舍弃低层高分辨率特征来降低计算量的动机。
• 提出一个两分支分叉骨干网络，带有用于初始和细化显著性图的部分解码器。
• 引入一个全局注意力模块以扩大显著性覆盖并抑制干扰。
• 发展一个级联优化机制，使初始显著性图引导对更深层特征的细化。
• 证明 CPD 在多个基准数据集上同时提高了准确性和速度，并且可以提升现有模型。

提出的方法

• 采取一个分叉骨干网络，在前3个特征层（f3、f4、f5）生成初始注意力。
• 实现一个部分解码器，仅聚合深层特征以生成初始显著性图 S_i。
• 生成一个全局注意力图 S_h，通过逐元素相乘来细化中间层特征，得到 f3^d。
• 在细化后的特征上使用第二个部分解码器以生成最终显著性图 S_d。
• 引入一个受感受野块启发的快速上下文模块，通过四个分支和通道约减来捕捉全局上下文。
• 通过一个联合交叉熵损失，将两个分支及两个显著性图联合训练，以促进一致的显著性发现。

实验结果

研究问题

• RQ1 在不牺牲显著性准确性的前提下，舍弃低层特征是否能降低计算量？
• RQ2 将初始显著性图用于细化更高层特征是否能提升最终的显著性质量？
• RQ3 相比初始注意力，全局注意力模块是否能提升对象覆盖和边界描绘？
• RQ4 CPD 框架是否能提升超出其自身架构的现有深度聚合模型？
• RQ5 两分支显著性设计在跨基准的实时显著对象检测中是否可行？

主要发现

• CPD 在五个基准数据集（ECSSD、HKU-IS、PASCAL-S、DUTS、DUT-OMRON）上达到最新研究水平。
• CPD 的运行速度高于现有模型，在 FPS 对比中显示出显著加速（例如在 DUTS 上与众多基线相比）。
• 注意力分支（S_i）和级联细化（S_d）在跨数据集上联合超越单分支解码器。
• 将 CPD 嵌入现有模型（BMPM、Amulet、NLDF）带来显著的准确性和效率提升（CPD-CPD-A 变体显示出改进）。
• 整体注意力在多种模型中优于初始注意力，且选择 Conv3_3 作为优化层在准确性与速度之间取得平衡。