[论文解读] Boosting Camouflaged Object Detection with Dual-Task Interactive Transformer

Zhengyi Liu, Zhili Zhang+1 more|arXiv (Cornell University)|May 21, 2022

Visual Attention and Saliency Detection被引用 7

一句话总结

本文提出了一种双任务交互式变换器（DTIT），通过交叉注意力机制联合优化伪装目标检测（COD）与边界检测。通过将目标特征与边界特征互为查询，模型利用全局交互注意力实现特征精炼，在公开的COD基准上实现了最先进性能，显著提升了准确率并增强了抗噪能力。

ABSTRACT

Camouflaged object detection intends to discover the concealed objects hidden in the surroundings. Existing methods follow the bio-inspired framework, which first locates the object and second refines the boundary. We argue that the discovery of camouflaged objects depends on the recurrent search for the object and the boundary. The recurrent processing makes the human tired and helpless, but it is just the advantage of the transformer with global search ability. Therefore, a dual-task interactive transformer is proposed to detect both accurate position of the camouflaged object and its detailed boundary. The boundary feature is considered as Query to improve the camouflaged object detection, and meanwhile the object feature is considered as Query to improve the boundary detection. The camouflaged object detection and the boundary detection are fully interacted by multi-head self-attention. Besides, to obtain the initial object feature and boundary feature, transformer-based backbones are adopted to extract the foreground and background. The foreground is just object, while foreground minus background is considered as boundary. Here, the boundary feature can be obtained from blurry boundary region of the foreground and background. Supervised by the object, the background and the boundary ground truth, the proposed model achieves state-of-the-art performance in public datasets. https://github.com/liuzywen/COD

研究动机与目标

• 为克服生物启发式两阶段检测框架在伪装目标检测（COD）中的局限性，通过实现目标与边界特征的并行、交互式学习。
• 通过利用变换器的全局感受野，同时精炼目标定位与边界划分，提升检测准确率。
• 提出一种新颖的边界生成策略，通过前景与背景特征差异提取锐利的边界特征，增强模糊区域的边缘细节。
• 通过联合使用目标、背景与边界的真实标签进行监督，实现更鲁棒的特征学习，从而取得更优性能。
• 通过在双任务间引入交互式多头自注意力机制，取代传统顺序精炼方式，超越现有COD模型。

提出的方法

• 模型采用双任务交互式变换器（DTIT），利用交叉注意力机制使目标特征可查询边界特征，反之亦然，实现双向特征精炼。
• 通过两个独立的基于变换器的主干网络提取前景与背景特征，边界特征通过逐元素相减生成：边界 = 前景 − 背景。
• 将边界特征图作为查询以优化目标检测，同时将目标特征图作为查询以提升边界检测，形成反馈回路。
• 在两个任务中均应用多头自注意力机制，以捕捉长距离依赖关系并实现全局特征交互。
• 模型通过联合监督进行训练，使用目标、背景与边界的真实标签，采用标准的分割损失函数。
• 该架构通过将前景与背景中不确定区域重新分配给边界特征，实现噪声抑制并增强边缘细节。

实验结果

研究问题

• RQ1 在伪装目标检测中，目标检测与边界检测之间的交互式并行学习是否能优于传统的两阶段生物启发式检测框架？
• RQ2 目标与边界特征之间的交叉注意力如何改善特征表示与分割准确率？
• RQ3 能否从前景与背景特征差异中有效生成边界特征，特别是在模糊或低对比度区域？
• RQ4 使用目标、背景与边界真实标签进行联合监督，是否能提升在公开COD基准上的泛化能力与性能表现？
• RQ5 与现有方法相比，所提出的双任务交互式变换器在降噪与边缘细节增强方面提升程度如何？

主要发现

• 所提出的双任务交互式变换器（DTIT）在CAMO、COD10K与NC4K数据集上均达到最先进性能，分别取得$F^{eta}_{ ext{F}}$为0.796、0.695与0.792的指标。
• 模型在CAMO上的$S_{ ext{α}}$提升至0.857，在NC4K上达到0.863，F-measure较次优方法提升超过0.01。
• DTIT在CAMO上的MAE降低至0.050，COD10K为0.034，NC4K为0.041，表明分割误差率更低。
• 消融实验表明，DTIT中的交叉注意力交互机制显著优于早期或晚期特征融合策略，完整交互机制实现最佳性能指标。
• 所提出的基于前景减去背景特征的边界生成方法，能生成更精确、更细致的边界，尤其在复杂场景与纹理相似区域表现更优。
• 可视化对比显示，该模型能有效抑制噪声并增强细微细节（如蜘蛛腿），而基线方法常会遗漏此类结构。