[论文解读] Centralized Information Interaction for Salient Object Detection

Jiangjiang Liu, Zhiang Liu+1 more|arXiv (Cornell University)|Dec 21, 2020

Visual Attention and Saliency Detection参考文献 73被引用 4

一句话总结

本文提出一种集中式信息交互（CII）机制，通过共享的、参数高效的模块融合多尺度特征，避免空间插值，从而提升显著性物体检测性能。通过集成相对全局校准（RGC）模块，该方法在五个基准测试中实现最先进性能，额外参数仅增加约4%，FLOPs也有所降低。

ABSTRACT

The U-shape structure has shown its advantage in salient object detection for efficiently combining multi-scale features. However, most existing U-shape based methods focused on improving the bottom-up and top-down pathways while ignoring the connections between them. This paper shows that by centralizing these connections, we can achieve the cross-scale information interaction among them, hence obtaining semantically stronger and positionally more precise features. To inspire the potential of the newly proposed strategy, we further design a relative global calibration module that can simultaneously process multi-scale inputs without spatial interpolation. Benefiting from the above strategy and module, our proposed approach can aggregate features more effectively while introducing only a few additional parameters. Our approach can cooperate with various existing U-shape-based salient object detection methods by substituting the connections between the bottom-up and top-down pathways. Experimental results demonstrate that our proposed approach performs favorably against the previous state-of-the-arts on five widely used benchmarks with less computational complexity. The source code will be publicly available.

研究动机与目标

• 解决现有U型网络在自底向上与自顶向下路径之间直接、非中心化连接导致的跨尺度特征交互局限性。
• 克服多尺度特征融合过程中因空间插值导致的空间信息退化问题。
• 设计一种参数高效、端到端可训练的模块，实现在无插值情况下跨尺度的全局上下文感知特征交互。
• 证明集中式特征交互能显著提升显著性物体检测中的语义强度与空间精度。
• 实现与现有基于U型结构的显著性物体检测模型的即插即用集成，无需修改主干网络或路径结构设计。

提出的方法

• 提出一种集中式信息交互（CII）策略，用共享的多尺度处理模块替代直接的跳跃连接，该模块应用于所有阶段的特征。
• 通过共享模块处理多尺度特征，直接将跨尺度信息编码到滤波器中，消除对空间插值的依赖。
• 提出一种相对全局校准（RGC）模块，通过建模不同尺度特征之间的相对关系，捕捉尺度特定的全局上下文。
• 设计RGC模块在无需空间上采样或下采样的情况下处理多尺度输入，保留精确的空间位置。
• 实现整个网络的端到端训练，额外参数与FLOPs均极少。
• 通过仅替换路径之间的跳跃连接，支持与任意基于U型结构的显著性物体检测模型灵活集成。

实验结果

研究问题

• RQ1 集中式跨尺度特征交互是否能超越标准U型跳跃连接，在显著性物体检测中提升表示质量？
• RQ2 在多尺度特征融合中避免空间插值是否能更好地保留空间细节并提升检测精度？
• RQ3 共享的多尺度模块是否能有效捕捉无空间变换下的不同感受野中的全局上下文？
• RQ4 所提出的RGC模块与传统注意力或池化机制相比，在建模尺度相对全局上下文方面表现如何？
• RQ5 CII与RGC模块在不同主干网络架构和U型检测框架中的泛化能力如何？

主要发现

• 所提方法在五个广泛使用的显著性物体检测基准上达到最先进性能，包括PASCAL-S、HKU-IS和DUTS-TE。
• 使用ResNet-50时，该方法在DUTS-TE上取得0.950的F-measure，优于先前SOTA方法ITSD（0.947），额外参数减少67%。
• 该方法的ResNet-18版本在F-measure与平均F-score上均超过多数基于ResNet-50的先前方法，展现出强大的参数效率。
• 与ResNet-50相比，该方法仅增加约0.97M（4.1%）额外参数与4.74G额外FLOPs，显著低于先前SOTA方法。
• 可视化对比显示，该方法生成的显著图更完整、更精确，尤其在小尺寸或复杂形状物体上表现优异，且无需边缘特定监督。
• 消融研究证实，CII与RGC均对性能提升有显著贡献，即使参数开销极小，RGC仍带来显著性能增益。