[论文解读] CamoFA: A Learnable Fourier-based Augmentation for Camouflage Segmentation

Minh-Quan Le, Minh–Triet Tran+3 more|arXiv (Cornell University)|Aug 29, 2023

Visual Attention and Saliency DetectionComputer Science被引用 3

一句话总结

本文提出 CamoFourier，一种用于伪装目标检测（COD）和实例分割（CIS）的可学习傅里叶基数据增强方法，通过条件生成对抗网络（cGAN）生成参考图像，并利用交叉注意力对齐特征，随后自适应地混合参考图像的低频分量与输入图像的高频分量，显著提升 SOTA 模型在 COD 和 CIS 基准上的性能，且无需修改网络架构。

ABSTRACT

Camouflaged object detection (COD) and camouflaged instance segmentation (CIS) aim to recognize and segment objects that are blended into their surroundings, respectively. While several deep neural network models have been proposed to tackle those tasks, augmentation methods for COD and CIS have not been thoroughly explored. Augmentation strategies can help improve models' performance by increasing the size and diversity of the training data and exposing the model to a wider range of variations in the data. Besides, we aim to automatically learn transformations that help to reveal the underlying structure of camouflaged objects and allow the model to learn to better identify and segment camouflaged objects. To achieve this, we propose a learnable augmentation method in the frequency domain for COD and CIS via the Fourier transform approach, dubbed CamoFA. Our method leverages a conditional generative adversarial network and cross-attention mechanism to generate a reference image and an adaptive hybrid swapping with parameters to mix the low-frequency component of the reference image and the high-frequency component of the input image. This approach aims to make camouflaged objects more visible for detection and segmentation models. Without bells and whistles, our proposed augmentation method boosts the performance of camouflaged object detectors and instance segmenters by large margins.

研究动机与目标

• 为解决当前缺乏专用于伪装目标检测与实例分割的高效数据增强策略的问题。
• 通过学习揭示伪装目标中隐藏结构的变换，提升模型的泛化能力与鲁棒性。
• 开发一种频域增强方法，在保持空间结构的同时增强伪装目标的可见性。
• 构建一种灵活且可训练的增强框架，兼容多种检测与分割架构。

提出的方法

• 通过条件生成对抗网络（cGAN）从输入图像生成参考图像，作为结构与纹理线索的来源。
• 利用交叉注意力机制学习输入图像与生成参考图像之间的空间对应关系与对齐，以提升特征一致性。
• 通过傅里叶变换将输入图像与参考图像均转换至频域，分离幅度与相位分量。
• 采用自适应混合替换机制，将参考图像的低频幅度与输入图像的高频幅度相结合，受可学习参数 β 控制。
• 混合替换机制可受控地将参考图像的纹理与色彩信息传递至输入图像，从而增强伪装目标的可见性。
• 通过逆傅里叶变换重建增强图像，在保持分辨率与空间结构的同时突出目标边界。

Figure 1: Our CamoFourier not only preserves the spatial structure and resolution of an image but also highlights the underlying structure of camouflaged objects for better identification and segmentation.

实验结果

研究问题

• RQ1 可学习的频域增强方法是否能提升伪装目标检测与实例分割任务的性能？
• RQ2 条件生成对抗网络与交叉注意力机制的结合如何提升增强图像在伪装目标上的质量与相关性？
• RQ3 傅里叶分量的自适应混合替换对模型泛化能力与检测准确率有何影响？
• RQ4 与未针对高背景相似性伪装目标设计的现有增强方法相比，CamoFourier 表现如何？
• RQ5 所提出方法在不同 SOTA 模型上的泛化能力如何？

主要发现

• CamoFourier 显著提升了 SINetV2 与 OSFormer 在 COD 与 CIS 基准上的性能，优于此前的 SOTA 方法。
• 交叉注意力机制在 COD10K 与 NC4K 数据集的所有指标上均提升性能，F-measure、平均 F-score 与 S-measure 均有稳定增益。
• 自适应混合替换相比基础幅度替换可带来可测量的性能提升，证明其在控制信息传递中的关键作用。
• 该方法在 COD 与 CIS 任务上均优于先前 SOTA 方法 CamDiff，证实其在增强模型对伪装目标敏感性方面的优越性。
• 定性结果表明，CamoFourier 生成的增强图像能更清晰地展现伪装目标的结构，从而提升分割与检测效果。
• 消融实验确认，交叉注意力模块与自适应混合替换均为实现最优性能的关键组件。

Figure 2: Overview of the proposed CamoFourier. Our method leverages a conditional generative adversarial network and cross-attention mechanism to generate a reference image and an adaptive hybrid swapping with parameters to mix the low-frequency component of the reference image and the high-frequen