[论文解读] Can SAM Segment Anything? When SAM Meets Camouflaged Object Detection

Lv Tang, Haoke Xiao+1 more|arXiv (Cornell University)|Apr 10, 2023

Visual Attention and Saliency Detection被引用 43

一句话总结

本技术报告在伪装目标检测（COD）基准上评估 Meta 的 SAM，结果表明 SAM 的分割和定位性能落后于最先进的 COD 方法，并提出改进方向。

ABSTRACT

SAM is a segmentation model recently released by Meta AI Research and has been gaining attention quickly due to its impressive performance in generic object segmentation. However, its ability to generalize to specific scenes such as camouflaged scenes is still unknown. Camouflaged object detection (COD) involves identifying objects that are seamlessly integrated into their surroundings and has numerous practical applications in fields such as medicine, art, and agriculture. In this study, we try to ask if SAM can address the COD task and evaluate the performance of SAM on the COD benchmark by employing maximum segmentation evaluation and camouflage location evaluation. We also compare SAM's performance with 22 state-of-the-art COD methods. Our results indicate that while SAM shows promise in generic object segmentation, its performance on the COD task is limited. This presents an opportunity for further research to explore how to build a stronger SAM that may address the COD task. The results of this paper are provided in \url{https://github.com/luckybird1994/SAMCOD}.

研究动机与目标

• 评估 SAM 是否能够有效地对伪装物体进行分割。
• 评估 SAM 在图像中定位伪装物体的能力。
• 在标准 COD 基准（CAMO、COD10K、NC4K）上将 SAM 与22种最先进的 COD 方法进行比较。
• 提供关于如何改进 SAM 或面向 COD 的基础模型以用于伪装任务的见解。

提出的方法

• 使用 SAM 为每张图像生成多个二值图（可提示分割）。
• 通过取每张图像中 F-measure 最高的二值图作为 SAM 的预测，应用最大分割评估。
• 通过计算跨数据集的超过 F-beta 阈值的 SAM 映射分布来应用伪装定位评估。
• 使用六个指标进行评估：S_alpha、E_phi、F_beta、F_w_beta、F_beta^max、MAE。
• 在 CAMO-Test、COD10K-Test 和 NC4K 数据集上将 SAM 与 22 种 COD 方法进行比较。

Figure 1: Some bad cases of SAM.

实验结果

研究问题

• RQ1 SAM 能否在 COD 基准上准确分割伪装物体？
• RQ2 SAM 能否在 COD 基准上准确定位伪装物体？
• RQ3 在标准数据集（CAMO、COD10K、NC4K）上，SAM 与领先的 COD 方法相比如何？
• RQ4 将基础模型应用于 COD 任务时，会带来哪些改进或方向？

主要发现

• SAM 可以为每张图生成多个二值图，但许多图像中的映射未能覆盖伪装物体。
• 在最大分割评估下，SAM 的 COD 性能在三个基准上仍落后于最先进的 COD 方法。
• 在一般定位评估中，SAM 定位伪装物体的能力有限，且仅在阈值设定后略有提升。
• 与 22 种 COD 方法相比，SAM 在 CAMO-Test、COD10K-Test 和 NC4K 的标准 COD 指标上存在明显差距，尽管它在某些 2021 年代的方法中仍具有竞争力。
• 作者强调 SAM 的 COD 性能不足以用于 COD 专用任务，并呼吁对数据集/架构进行改造，以加强 SAM 在伪装检测中的表现。

Figure 2: The location ability of the SAM.