[论文解读] CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion Models

Zhongxi Chen, Ke Sun+2 more|arXiv (Cornell University)|May 29, 2023

Visual Attention and Saliency Detection被引用 7

一句话总结

CamoDiffusion 提出了一种用于隐蔽目标检测（COD）的新型条件扩散模型，将掩码预测视为去噪过程，通过迭代方式逐步优化分割掩码。通过利用随机采样和专门的训练策略，该方法在性能上达到当前最先进水平，包括在 COD10K 数据集上实现 0.019 的 MAE，显著优于以往基于语义分割的方法。

ABSTRACT

Camouflaged Object Detection (COD) is a challenging task in computer vision due to the high similarity between camouflaged objects and their surroundings. Existing COD methods primarily employ semantic segmentation, which suffers from overconfident incorrect predictions. In this paper, we propose a new paradigm that treats COD as a conditional mask-generation task leveraging diffusion models. Our method, dubbed CamoDiffusion, employs the denoising process of diffusion models to iteratively reduce the noise of the mask. Due to the stochastic sampling process of diffusion, our model is capable of sampling multiple possible predictions from the mask distribution, avoiding the problem of overconfident point estimation. Moreover, we develop specialized learning strategies that include an innovative ensemble approach for generating robust predictions and tailored forward diffusion methods for efficient training, specifically for the COD task. Extensive experiments on three COD datasets attest the superior performance of our model compared to existing state-of-the-art methods, particularly on the most challenging COD10K dataset, where our approach achieves 0.019 in terms of MAE.

研究动机与目标

• 为解决隐蔽目标检测中的挑战，即目标与背景之间高度相似导致误分类的问题。
• 克服现有基于语义分割的 COD 方法的局限性，特别是过度自信的预测以及对细微边界的处理能力差的问题。
• 提出一种新范式，将 COD 视为使用扩散模型的条件掩码生成任务。
• 开发专门的训练与推理策略，以增强模型的鲁棒性、泛化能力以及不确定性感知的预测能力。

提出的方法

• CamoDiffusion 将 COD 建模为使用扩散模型的条件掩码生成任务，通过在输入图像条件下的迭代去噪过程逐步优化掩码。
• 采用自适应 Transformer 条件网络（ATCN）编码图像特征，并引导去噪过程。
• 去噪网络（DN）通过逐步去除噪声的去噪过程，逐步优化掩码。
• 模型使用基于信噪比（SNR）的方差调度策略，以稳定训练并控制每一步去噪过程中的噪声水平。
• 在前向扩散过程中引入结构破坏（Structure Corruption），以保持结构一致性并提升泛化能力。
• 采用共识时间集成（CTE）策略，结合多个随机预测结果，生成鲁棒的最终掩码，降低过度自信并提升准确性。

实验结果

研究问题

• RQ1 条件扩散模型能否有效建模自然图像中隐蔽目标边界的不确定性和复杂性？
• RQ2 与直接像素级分割相比，扩散模型的迭代去噪过程在掩码优化方面有何优势？
• RQ3 为适应隐蔽目标低层次、高相似性的特征，需要哪些专门的训练策略来适配扩散模型？
• RQ4 随机采样与集成预测在多大程度上可减少 COD 中的过度自信错误？
• RQ5 ATCN 和 DN 等架构组件在模型聚焦细微前景细节方面起到了何种作用？

主要发现

• CamoDiffusion 在具有挑战性的 COD10K 数据集上实现了 0.019 的最先进 MAE，显著优于先前方法。
• 模型的随机采样过程生成多个多样化预测，揭示了模糊区域的不确定性，并支持基于集成的鲁棒优化。
• 共识时间集成（CTE）策略通过整合不同采样步长的预测结果，提升了掩码质量，减少了过度自信错误。
• 基于 SNR 的方差调度策略以及前向扩散过程中的结构破坏，使训练更加稳定高效，提升了泛化能力。
• 消融实验证实，ATCN 和 ZOE 组件对实现准确注意力机制和模型收敛均至关重要，其中 ZOE 还提升了训练稳定性。
• 随着采样步数增加，模型性能持续提升，但 10 步时达到准确率与推理效率之间的最佳平衡。