[论文解读] Camouflaged Instance Segmentation In-The-Wild: Dataset And Benchmark Suite

Trung-Nghia Le, Yubo Cao+6 more|arXiv (Cornell University)|Mar 31, 2021

Visual Attention and Saliency Detection参考文献 49被引用 5

一句话总结

本文提出了CAMO++，一个大规模、多样化的数据集，包含野外环境中伪装实例分割的分层像素级注释，以及一个基准测试套件和伪装融合学习（CFL）框架。所提出的方法通过利用多层级特征融合与注意力机制，在伪装实例分割任务上显著提升了最先进性能，展现出在复杂自然场景中的强大泛化能力。

ABSTRACT

This paper pushes the envelope on camouflaged regions to decompose them into meaningful components, namely, camouflaged instances. To promote the new task of camouflaged instance segmentation in-the-wild, we introduce a new dataset, namely CAMO++, by extending our preliminary CAMO dataset (camouflaged object segmentation) in terms of quantity and diversity. The new dataset substantially increases the number of images with hierarchical pixel-wise ground-truths. We also provide a benchmark suite for the task of camouflaged instance segmentation. In particular, we conduct extensive evaluation of state-of-the-art instance segmentation methods on our newly constructed CAMO++ dataset in various scenarios. We also propose Camouflage Fusion Learning (CFL) framework for camouflaged instance segmentation to further improve the state-of-the-art performance. The dataset, models, evaluation suite, and benchmark will be publicly available at our project page: this https URL

研究动机与目标

• 解决在自然、非受限环境中缺乏大规模、多样化伪装实例分割数据集的问题。
• 克服由于纹理、颜色和形状模仿而导致伪装物体与周围环境完全融合、难以检测和分割的挑战。
• 构建一个稳健的基准测试套件，用于评估和比较最先进实例分割模型在伪装区域上的表现。
• 提出一种新颖的深度学习框架——伪装融合学习（CFL），以增强伪装实例的特征表示与分割精度。
• 公开提供数据集、模型与评估工具，以加速伪装实例分割领域的研究。

提出的方法

• 通过显著增加图像数量并为伪装实例引入分层像素级注释，将原始CAMO数据集扩展为CAMO++。
• 设计一个基准测试套件，用于在包含伪装物体的多样化、真实世界场景下评估最先进实例分割模型。
• 提出伪装融合学习（CFL）框架，通过基于注意力的融合模块整合主干网络的多尺度特征。
• 采用双分支特征聚合机制，通过强调细微的纹理与边界线索，增强伪装区域的表征能力。
• 使用像素级交叉熵损失与Dice损失端到端训练CFL模型，以优化实例分割性能。
• 集成注意力模块，动态加权特征重要性，聚焦于伪装物体中典型的模糊与低对比度区域。

实验结果

研究问题

• RQ1 当将现有实例分割模型应用于非受限、真实世界图像中的伪装物体时，其性能会如何下降？
• RQ2 CAMO++数据集的多样性与规模在多大程度上提升了伪装实例分割模型的泛化能力与鲁棒性？
• RQ3 与标准实例分割架构相比，专用的融合机制如伪装融合学习（CFL）是否能显著提升对伪装实例的分割精度？
• RQ4 CFL框架的不同组件在提升复杂伪装区域性能方面分别起到什么作用？
• RQ5 实现成功伪装实例分割的关键视觉与语义线索是什么？这些线索在所提出的框架中如何被捕捉？

主要发现

• 与前代相比，CAMO++数据集包含显著更多的图像与分层像素级注释，支持更全面、多样的评估。
• 最先进实例分割模型在野外伪装区域上的表现出现显著下降，凸显了对专用基准测试的迫切需求。
• 伪装融合学习（CFL）框架通过有效融合多尺度特征并强调细微伪装区域线索，在CAMO++上实现了最先进性能。
• 消融研究证实，CFL中基于注意力的特征融合机制对提升模糊与低对比度区域的分割精度至关重要。
• 基准测试套件揭示，当前模型在伪装场景中对细粒度边界定位与实例分离方面仍存在困难，凸显了该任务的挑战性。
• 数据集、模型与评估工具的公开发布有望推动伪装实例分割领域的进一步研究。