[论文解读] Global Context-Aware Progressive Aggregation Network for Salient Object Detection

Zuyao Chen, Qianqian Xu+2 more|arXiv (Cornell University)|Mar 2, 2020

Visual Attention and Saliency Detection参考文献 38被引用 14

一句话总结

该论文提出GCPANet，一种用于显著性目标检测的全局上下文感知渐进聚合网络，通过特征交织聚合（FIA）、头注意力（HA）、自精炼（SR）和全局上下文流（GCF）模块，整合低层次细节、高层次语义和全局上下文信息。该方法通过缓解特征稀释并增强上下文理解，在六个基准数据集上实现了最先进性能。

ABSTRACT

Deep convolutional neural networks have achieved competitive performance in salient object detection, in which how to learn effective and comprehensive features plays a critical role. Most of the previous works mainly adopted multiple level feature integration yet ignored the gap between different features. Besides, there also exists a dilution process of high-level features as they passed on the top-down pathway. To remedy these issues, we propose a novel network named GCPANet to effectively integrate low-level appearance features, high-level semantic features, and global context features through some progressive context-aware Feature Interweaved Aggregation (FIA) modules and generate the saliency map in a supervised way. Moreover, a Head Attention (HA) module is used to reduce information redundancy and enhance the top layers features by leveraging the spatial and channel-wise attention, and the Self Refinement (SR) module is utilized to further refine and heighten the input features. Furthermore, we design the Global Context Flow (GCF) module to generate the global context information at different stages, which aims to learn the relationship among different salient regions and alleviate the dilution effect of high-level features. Experimental results on six benchmark datasets demonstrate that the proposed approach outperforms the state-of-the-art methods both quantitatively and qualitatively.

研究动机与目标

• 为解决显著性目标检测中多层级特征之间的差距，特别是低层次细节与高层次语义贡献不平衡的问题。
• 缓解编码器-解码器网络中自顶向下特征传播过程中高层特征的稀释问题。
• 引入能捕捉多个显著区域之间关系的全局上下文信息，以生成更完整、更连贯的显著图。
• 通过减少冗余并增强深层特征的空间与通道注意力，改善特征表示。
• 设计一种渐进式聚合框架，以上下文感知方式有效融合多尺度与全局特征。

提出的方法

• 特征交织聚合（FIA）模块以多路径方式渐进融合低层次外观特征、高层次语义特征和全局上下文特征，以保留结构细节与语义一致性。
• 头注意力（HA）模块通过应用空间与通道注意力增强顶层特征，以抑制背景噪声并突出显著区域。
• 自精炼（SR）模块通过利用内部特征相关性，迭代地优化特征图，以提升表示质量。
• 全局上下文流（GCF）模块使用并行分支生成各阶段特定的全局上下文特征，实现在多尺度上的上下文感知特征增强，并减少特征稀释。
• 网络采用类似U-Net的编码器-解码器架构并结合跳跃连接，其中FIA与SR模块在每个解码阶段应用，以在上采样前优化特征。
• GCF模块使用全局平均池化与多层感知机提取全局上下文，随后自适应调制并注入到不同阶段的特征图中。

实验结果

研究问题

• RQ1 如何有效整合多层级特征（低层次、高层次与全局上下文）以提升显著性检测性能，同时避免结构或语义信息的丢失？
• RQ2 注意力机制在多大程度上可减少深层网络中的冗余并增强判别性特征？
• RQ3 各阶段特定的全局上下文特征能否缓解自顶向下特征传播过程中高层特征的稀释？
• RQ4 通过FIA与SR模块实现的渐进式特征融合，对显著图的边界精度与完整性有何影响？
• RQ5 各提出组件（FIA、HA、SR、GCF）对整体性能提升的相对贡献如何？

主要发现

• 所提出的GCPANet在六个基准数据集上，于F-measure、S-measure与MAE指标上均优于12种最先进方法。
• 在ECSSD数据集上，包含所有组件（FIA、SR、HA、GCF）的完整模型取得0.0348的MAE，相比基线（0.0456）提升24.5%。
• 消融研究显示，仅添加SR模块即可使MAE相比仅含FIA的基线降低14%。
• 采用各阶段特定全局上下文的GCF模块优于共享全局上下文设置，在ECSSD上实现3.6%的MAE降低（0.0348 vs. 0.0361）。
• 定性结果表明，模型对背景/前景干扰具有更强鲁棒性，并能更好推理多个显著目标之间的关系。
• PR与F-measure曲线在所有阈值下均表现一致优越，证实了模型的鲁棒性与泛化能力。