[论文解读] Advances in Deep Concealed Scene Understanding

Deng-Ping Fan, Ge-Peng Ji+4 more|arXiv (Cornell University)|Apr 21, 2023

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文首次系统性地综述了用于隐蔽场景理解（CSU）的深度学习技术，提出了一个新的隐蔽物体分割（COS）基准，并构建了目前最大规模的工业级数据集CDS2K，用于隐蔽缺陷分割。该研究在真实工业案例中评估了最先进模型，揭示了显著的领域差距，并识别出泛化能力、数据稀缺性以及语义理解方面的关键挑战。

ABSTRACT

Concealed scene understanding (CSU) is a hot computer vision topic aiming to perceive objects exhibiting camouflage. The current boom in terms of techniques and applications warrants an up-to-date survey. This can help researchers to better understand the global CSU field, including both current achievements and remaining challenges. This paper makes four contributions: (1) For the first time, we present a comprehensive survey of deep learning techniques aimed at CSU, including a taxonomy, task-specific challenges, and ongoing developments. (2) To allow for an authoritative quantification of the state-of-the-art, we offer the largest and latest benchmark for concealed object segmentation (COS). (3) To evaluate the generalizability of deep CSU in practical scenarios, we collect the largest concealed defect segmentation dataset termed CDS2K with the hard cases from diversified industrial scenarios, on which we construct a comprehensive benchmark. (4) We discuss open problems and potential research directions for CSU. Our code and datasets are available at https://github.com/DengPingFan/CSU, which will be updated continuously to watch and summarize the advancements in this rapidly evolving field.

研究动机与目标

• 提供隐蔽场景理解（CSU）领域中深度学习技术的系统性与最新综述，涵盖分类体系、挑战与最新进展。
• 建立最大且最全面的隐蔽物体分割（COS）基准，以实现对最先进方法的权威性、量化比较。
• 收集并整理CDS2K数据集——包含来自多样化工业场景的困难样本——以评估深度CSU模型在真实世界中的泛化能力。
• 识别CSU中的开放问题，并提出未来研究方向，尤其关注模型泛化、数据效率与语义理解。

提出的方法

• 提出七项核心CSU任务的分类体系，包括五项图像级任务（COS、COL、CIR、CIS、COC）和两项视频级任务（VCOD、VCOS），并提供形式化定义与标注可视化。
• 引入一个全新的大规模COS基准，采用最新且最全面的评估协议，整合多个数据集与评估指标。
• 收集并重构CDS2K数据集，包含2,492个样本（1,330个正样本，1,162个负样本），涵盖真实工业缺陷场景中的类别标签、边界框及像素级分割掩码。
• 采用最先进COS模型（SINetV2、DGNet、CamoFormer-P、HitNet）在CDS2K上进行零样本评估，以评估跨领域泛化能力。
• 分析不同领域间的性能差距，特别是自然场景与工业缺陷数据之间的差异，凸显当前模型的局限性。
• 提出一种评估模型鲁棒性与泛化能力的框架，强调需要开发能考虑不同伪装程度的更优评估指标。

Figure 1: Sample gallery of concealed scenarios. (a-d) show natural animals selected from [ 19 ] . (e) depicts a concealed human in art from [ 20 ] . (f) features a synthesized “lion” by [ 21 ] .

实验结果

研究问题

• RQ1 如何在隐蔽场景理解（CSU）领域内对深度学习技术进行系统性分类与评估？
• RQ2 隐蔽物体分割（COS）中的关键挑战是什么？这些挑战在不同任务与领域间有何差异？
• RQ3 当前最先进COS模型在CDS2K数据集中所捕获的真实工业缺陷场景中的泛化能力如何？
• RQ4 现有数据集、评估指标与模型架构中存在哪些关键缺陷，阻碍了CSU领域的进展？
• RQ5 未来CSU模型如何更好地融合高层语义理解、视觉-语言知识与目标交互建模，以超越视觉外观的感知能力？

主要发现

• CDS2K数据集包含2,492个样本，均附有人工标注的类别、边界框及像素级分割掩码，代表了多样化工业场景中的高难度案例。
• CDS2K各类别中缺陷区域的平均占比极低，表明大多数缺陷尺寸小，检测难度高。
• 最先进COS模型（SINetV2、DGNet、CamoFormer-P、HitNet）在CDS2K上表现欠佳，表明自然场景与工业缺陷数据之间存在显著的领域差距。
• 基于Transformer与ConvNext的模型（如CamoFormer-P）优于其他架构，在COS基准上达到最高0.596的mIoU分数。
• 当前评估指标未能考虑伪装程度的差异，导致比较不公平，并限制了模型评估的进展。
• 亟需开发能够融合高层语义、视觉-语言理解与目标交互建模的模型，以推动下一代隐蔽场景感知技术的发展。

Figure 2: Illustration of the representative CSU tasks. Five of these are image-level tasks: (a) concealed object segmentation (COS), (b) concealed object localization (COL), (c) concealed instance ranking (CIR), (d) concealed instance segmentation (CIS), and (e) concealed object counting (COC). The