[论文解读] Boundary-aware Camouflaged Object Detection via Deformable Point Sampling

Minhyeok Lee, Suhwan Cho+4 more|arXiv (Cornell University)|Nov 22, 2022

Visual Attention and Saliency Detection被引用 4

一句话总结

该论文提出DPS-Net，一种新型的边界感知伪装目标检测网络，通过使用可变形点采样变换器（DPS变换器）融合局部边界细节与全局上下文信息，以增强特征提取。该方法在CHAMELEON、CAMO和COD10K数据集上实现了最先进性能，检测精度与推理效率均得到提升。

ABSTRACT

The camouflaged object detection (COD) task aims to identify and segment objects that blend into the background due to their similar color or texture. Despite the inherent difficulties of the task, COD has gained considerable attention in several fields, such as medicine, life-saving, and anti-military fields. In this paper, we propose a novel solution called the Deformable Point Sampling network (DPS-Net) to address the challenges associated with COD. The proposed DPS-Net utilizes a Deformable Point Sampling transformer (DPS transformer) that can effectively capture sparse local boundary information of significant object boundaries in COD using a deformable point sampling method. Moreover, the DPS transformer demonstrates robust COD performance by extracting contextual features for target object localization through integrating rough global positional information of objects with boundary local information. We evaluate our method on three prominent datasets and achieve state-of-the-art performance. Our results demonstrate the effectiveness of the proposed method through comparative experiments.

研究动机与目标

• 解决由于伪装目标与背景在颜色和纹理上相似而导致视觉区分度极低的检测挑战。
• 克服现有模型在目标与背景视觉相似时难以捕捉细粒度边界细节的局限性。
• 通过稀疏、自适应的特征采样减少计算开销，同时保持高检测精度，提升模型效率。
• 在统一的基于变换器的框架中，整合局部边界信息与全局目标位置线索，增强特征表示能力。

提出的方法

• DPS变换器采用局部提取器，利用可变形采样点与学习到的偏移量，聚焦显著边界区域，提升局部特征提取效率。
• 全局提取器通过在掩码特征区域上进行全局平均池化，生成软目标与背景区域掩码，实现鲁棒的全局上下文学习。
• 聚合器将局部边界特征与全局上下文特征融合，生成全面的表示，以增强目标定位能力。
• 可变形点采样机制根据预测偏移量动态选择信息丰富的采样点，减少计算量的同时提升特征相关性。
• 边界解码器与边界特征模块（BFM）集成，通过预测的边界图精炼边界预测并引导特征融合。
• 模型采用基于CNN的（DPS-Net-R）与基于变换器的（DPS-Net-P）编码器实现，兼顾高速推理与优异性能。

实验结果

研究问题

• RQ1 可变形点采样能否提升伪装目标检测中稀疏、有意义边界特征的提取效果？
• RQ2 在低对比度、伪装丰富的场景中，结合局部边界特征与全局上下文信息如何影响检测精度？
• RQ3 与迭代或密集采样方法相比，所提出的DPS变换器在保持或提升性能的同时，能在多大程度上降低计算成本？
• RQ4 边界解码器与BFM的集成是否显著增强了模型区分细微前景-背景边界的性能？

主要发现

• 所提出的DPS-Net在三个基准数据集CHAMELEON、CAMO和COD10K上均达到最先进性能，展现出卓越的检测精度。
• 基于CNN的版本（DPS-Net-R）仅使用4190万参数，实现36.3 FPS的推理速度，优于SegMaR [17]在速度与参数效率方面的表现。
• 可变形点采样在3×3参考点时表现最优，超过该规模后收益递减，证实其高效性与有效性。
• 消融实验证实，结合边界解码器与BFM可有效利用边界上下文引导特征融合，显著提升掩码预测性能。
• DPS变换器显著增强了特征表示能力，表现为激活图更准确捕捉物体边界，优于标准编码器。
• 采用PVTv2-B4主干网络的DPS-Net-P变体在性能上可媲美SegMaR [17]，但推理速度更快，参数量更低。