[论文解读] Camouflaged Image Synthesis Is All You Need to Boost Camouflaged Detection

Haichao Zhang, Can Qin+2 more|arXiv (Cornell University)|Aug 13, 2023

Visual Attention and Saliency DetectionComputer Science被引用 3

一句话总结

本文提出 SCODE，一种基于 GAN 的框架，通过使用伪装环境生成器和分布感知分类器，合成逼真的伪装图像，以解决伪装目标检测中的数据稀缺问题。通过生成多样化、高质量的合成数据，SCODE 在三个基准测试中提升了检测性能，在 COD10k、CAMO 和 CHAMELEON 上均优于当前最先进方法。

ABSTRACT

Camouflaged objects that blend into natural scenes pose significant challenges for deep-learning models to detect and synthesize. While camouflaged object detection is a crucial task in computer vision with diverse real-world applications, this research topic has been constrained by limited data availability. We propose a framework for synthesizing camouflage data to enhance the detection of camouflaged objects in natural scenes. Our approach employs a generative model to produce realistic camouflage images, which can be used to train existing object detection models. Specifically, we use a camouflage environment generator supervised by a camouflage distribution classifier to synthesize the camouflage images, which are then fed into our generator to expand the dataset. Our framework outperforms the current state-of-the-art method on three datasets (COD10k, CAMO, and CHAMELEON), demonstrating its effectiveness in improving camouflaged object detection. This approach can serve as a plug-and-play data generation and augmentation module for existing camouflaged object detection tasks and provides a novel way to introduce more diversity and distributions into current camouflage datasets.

研究动机与目标

• 解决伪装目标检测（COD）中真实世界数据有限的关键挑战，该问题限制了深度学习模型的性能。
• 克服由于伪装图像在自然界中稀少且与背景视觉相似，导致其收集和标注困难的问题。
• 开发一种数据生成框架，生成多样化、逼真的伪装图像，并附带精确的实例级掩码，以增强检测模型的泛化能力。
• 实现在分布外自然图像上的零样本迁移，展示无需微调即可实现从自然图像到伪装图像转换的潜力。
• 提供一种即插即用的数据增强模块，可与现有检测模型兼容，无需架构修改即可提升性能。

提出的方法

• 使用基于条件 GAN 的生成器，通过将来自掩码标注数据集的前景物体与新生成的背景相结合，合成伪装图像。
• 引入伪装环境生成器（CEG），采用噪声注入和伪装分布分类器，以指导前景与背景的逼真融合。
• 使用复合损失函数训练生成器，该损失函数结合对抗损失、L1 重建损失以及一种新型伪装分布损失，以确保语义和感知上的逼真性。
• 利用生成器的潜在空间控制多样性，通过在推理过程中操纵噪声向量和插值潜在代码实现。
• 冻结预训练的 SCODE 生成器，并将其应用于未见过的自然图像（如 COCO-STUFF）以评估零样本伪装图像转换能力。
• 在 SCODE 生成的数据上微调检测模型后，使用标准指标（Fβ、Sα、Eϕ、M）在 COD10k、CAMO 和 CHAMELEON 上评估检测性能。

实验结果

研究问题

• RQ1 基于 GAN 的数据合成能否通过生成逼真、多样的伪装图像，有效解决伪装目标检测中的数据稀缺问题？
• RQ2 与标准 GAN 或扩散模型相比，所提出的具有分布感知损失的伪装环境生成器在提升合成伪装图像的真实感和融合质量方面表现如何？
• RQ3 SCODE 生成的合成数据在多大程度上能提升现有伪装目标检测模型在多个基准数据集上的性能？
• RQ4 SCODE 框架能否在不微调的情况下泛化到分布外的自然图像，展示从自然图像到伪装图像转换的潜力？
• RQ5 伪装分布损失和噪声注入机制在提升生成伪装图像的质量和多样性方面有何贡献？

主要发现

• SCODE 在所有三个基准数据集上均优于最先进方法：COD10k、CAMO 和 CHAMELEON，Fβ、Sα 和 Eϕ 指标均有显著提升。
• 在 COD10k 上，完整 SCODE 模型的 Fβ 达到 0.684（↑），M 为 0.036（↓），相较于无 CAM 的消融变体（Fβ 0.676，M 0.037），证明了所提组件的有效性。
• 在 CAMO-Test 上，完整模型将 Fβ 从 0.736（无 CAM）提升至 0.736，同时将 M 从 0.075 降低至 0.071，表明各项指标均持续改进。
• 在 CHAMELEON 上，完整模型的 Sα 提升至 0.892（↑），Eϕ 提升至 0.959（↑），而消融实验中分别为 0.886 和 0.919，证实了完整框架的优势。
• 该模型可泛化至分布外自然图像（如 COCO-STUFF），无需微调，即可成功生成合理伪装背景，即使对于非伪装物体亦然。
• 消融研究证实，伪装感知模块（CAM）和噪声注入显著提升了掩码一致性和图像真实感，定量与定性结果均支持此结论。