[论文解读] Zoom In and Out: A Mixed-scale Triplet Network for Camouflaged Object Detection

Pang Youwei, Zhao Xiaoqi+3 more|arXiv (Cornell University)|Mar 5, 2022

Visual Attention and Saliency Detection被引用 7

一句话总结

本文提出ZoomNet，一种用于伪装目标检测的混合尺度三元组网络，通过模拟人类的缩放行为（放大与缩小）来增强多尺度下的特征学习。通过在尺度集成单元（SIUs）和分层混合尺度单元（HMUs）中整合特定尺度的特征，并应用一种不确定性感知损失以提升预测置信度，ZoomNet在四个公开的COD数据集上实现了最先进性能，并在显著目标检测任务中展现出良好的泛化能力。

ABSTRACT

The recently proposed camouflaged object detection (COD) attempts to segment objects that are visually blended into their surroundings, which is extremely complex and difficult in real-world scenarios. Apart from high intrinsic similarity between the camouflaged objects and their background, the objects are usually diverse in scale, fuzzy in appearance, and even severely occluded. To deal with these problems, we propose a mixed-scale triplet network, extbf{ZoomNet}, which mimics the behavior of humans when observing vague images, i.e., zooming in and out. Specifically, our ZoomNet employs the zoom strategy to learn the discriminative mixed-scale semantics by the designed scale integration unit and hierarchical mixed-scale unit, which fully explores imperceptible clues between the candidate objects and background surroundings. Moreover, considering the uncertainty and ambiguity derived from indistinguishable textures, we construct a simple yet effective regularization constraint, uncertainty-aware loss, to promote the model to accurately produce predictions with higher confidence in candidate regions. Without bells and whistles, our proposed highly task-friendly model consistently surpasses the existing 23 state-of-the-art methods on four public datasets. Besides, the superior performance over the recent cutting-edge models on the SOD task also verifies the effectiveness and generality of our model. The code will be available at \url{https://github.com/lartpang/ZoomNet}.

研究动机与目标

• 解决伪装目标检测中因目标与背景视觉相似、尺度多变且常被遮挡所带来的挑战。
• 克服现有模型在背景杂乱与低对比度外观下难以区分细微语义线索的局限性。
• 通过减少模糊或低置信度区域的不确定性，提升预测可靠性。
• 开发一种可泛化至更广泛显著目标检测任务的模型，而不仅限于伪装目标检测。

提出的方法

• 提出一种混合尺度三元组网络（ZoomNet），在多个尺度上处理输入图像，以模拟人类的缩放行为（放大与缩小）。
• 设计尺度集成单元（SIUs），根据特征的判别潜力，选择性地筛选并聚合来自不同尺度的特征。
• 引入分层混合尺度单元（HMUs），通过跨尺度交互重新组织并增强多尺度特征。
• 应用一种新颖的不确定性感知损失（UAL），其独立于真实标签，促使模型在不确定区域生成更具置信度的预测。
• 在不同尺度间共享权重，以在保持效率的同时实现有效的多尺度特征学习。
• 将不确定性感知损失与二值交叉熵损失（BCE）结合，联合优化预测的准确率与置信度。

实验结果

研究问题

• RQ1 如何有效利用多尺度特征学习来检测视觉线索极少的伪装目标？
• RQ2 模仿人类缩放行为是否能提升复杂杂乱场景中的特征表示能力？
• RQ3 在训练过程中，能否显式建模并减少模型在模糊区域的不确定性？
• RQ4 所提出的架构是否能泛化至伪装目标检测之外的其他显著目标检测任务？
• RQ5 不确定性感知损失对预测置信度与整体检测性能有何影响？

主要发现

• ZoomNet在四个公开的伪装目标检测数据集上达到最先进性能，超越23种现有SOTA方法。
• 在DUT-OMRON数据集上，ZoomNet的F-measure达到0.933，平均F-measure为0.923，优于所有对比方法。
• 该模型展现出强大的泛化能力，在五个标准显著目标检测基准（包括DUTS和Pascal-S）上也取得SOTA结果。
• 不确定性感知损失显著提升了预测置信度，尤其在模糊和低对比度区域，经定性与定量分析验证。
• 尽管性能有所提升，由于显式多尺度处理结构的存在，模型的推理速度略慢于现有最快方法C2FNet。
• 消融实验表明，SIU与HMU组件均对性能有显著贡献，且不确定性感知损失增强了模型在挑战性场景下的鲁棒性。