[论文解读] Context-aware Cross-level Fusion Network for Camouflaged Object Detection

Yujia Sun, Geng Chen+3 more|arXiv (Cornell University)|May 26, 2021

Visual Attention and Saliency Detection参考文献 36被引用 24

一句话总结

本文提出C2F-Net，一种上下文感知的跨层级融合网络，用于伪装目标检测（camouflaged object detection, COD），通过注意力引导的跨层级融合模块（Attention-induced Cross-level Fusion Module, ACFM）整合多层级特征，并利用双分支全局上下文模块（Dual-branch Global Context Module, DGCM）增强全局上下文建模。该模型在三个基准数据集上达到最先进性能，Fβw得分相比之前方法最高提升18.35%，Eϕ得分最高提升8.71%。

ABSTRACT

Camouflaged object detection (COD) is a challenging task due to the low boundary contrast between the object and its surroundings. In addition, the appearance of camouflaged objects varies significantly, e.g., object size and shape, aggravating the difficulties of accurate COD. In this paper, we propose a novel Context-aware Cross-level Fusion Network (C2F-Net) to address the challenging COD task. Specifically, we propose an Attention-induced Cross-level Fusion Module (ACFM) to integrate the multi-level features with informative attention coefficients. The fused features are then fed to the proposed Dual-branch Global Context Module (DGCM), which yields multi-scale feature representations for exploiting rich global context information. In C2F-Net, the two modules are conducted on high-level features using a cascaded manner. Extensive experiments on three widely used benchmark datasets demonstrate that our C2F-Net is an effective COD model and outperforms state-of-the-art models remarkably. Our code is publicly available at: https://github.com/thograce/C2FNet.

研究动机与目标

• 解决伪装目标检测中边界对比度低和外观多变的挑战。
• 克服现有方法对全局上下文信息利用不足以及有效跨层级特征融合能力有限的问题。
• 设计一个统一框架，联合优化丰富的全局上下文与多尺度特征融合，以提升COD的检测精度。
• 在多目标、遮挡和边界模糊等复杂场景下增强检测性能。

提出的方法

• 提出一种注意力引导的跨层级融合模块（ACFM），利用多尺度通道注意力（Multi-Scale Channel Attention, MSCA）计算注意力系数，实现不同特征层级间的自适应特征融合。
• 引入一种双分支全局上下文模块（DGCM），通过两条并行分支处理融合后的特征，提取多尺度的全局上下文表征。
• 在ACFM和DGCM中均采用MSCA，基于多尺度上下文动态加权通道特征，提升特征判别能力。
• 将ACFM与DGCM以级联方式应用于高层特征，逐步优化表示后再进行最终分割。
• 采用主干网络（如ResNet）结合空洞卷积（RFB模块），扩展感受野并丰富特征图。
• 结合特征融合与注意力调制，以及多尺度上下文建模，提升对低对比度、不规则形状伪装目标的检测能力。

实验结果

研究问题

• RQ1 如何改进跨层级特征融合，以更好地捕捉伪装目标检测中的判别性特征？
• RQ2 在具有挑战性的COD场景中，引入全局上下文信息在多大程度上能提升检测性能？
• RQ3 注意力机制是否能有效引导低对比度、高变异度检测任务中的特征融合与表征学习？
• RQ4 多尺度上下文建模与跨层级融合的结合，在基准COD数据集上的性能影响如何？

主要发现

• 在三个基准数据集上，C2F-Net相比基于ResNet50的SINet，Sα得分平均提升4.54%。
• 与当前最先进方法SINet相比，C2F-Net在Eϕ上平均提升8.71%，在Fβw上平均提升18.35%。
• 消融实验表明，ACFM与DGCM均不可或缺，完整模型在所有指标上均优于消融变体。
• 将MSCA替换为标准卷积层后，CAMO-Test上的Fβw下降1.9%，证明多尺度注意力的关键作用。
• 可视化对比显示，C2F-Net相比SOTA模型能检测到更完整、更细节丰富的伪装目标，尤其在遮挡或多目标场景中表现更优。
• 该模型在多种伪装目标类别（包括水生、陆生及飞行动物）上泛化能力良好，经COD10K的五个超类验证有效。