[论文解读] Can SAM Count Anything? An Empirical Study on SAM Counting

Zhiheng Ma, Xiaopeng Hong+1 more|arXiv (Cornell University)|Apr 21, 2023

Machine Learning and Data Classification被引用 10

一句话总结

该论文评估 Segment Anything Model (SAM) 在少样本对象计数中的能力，发现 SAM 落后于专门的少样本计数方法，尤其是对于小型和拥挤对象，且未进行微调。

ABSTRACT

Meta AI recently released the Segment Anything model (SAM), which has garnered attention due to its impressive performance in class-agnostic segmenting. In this study, we explore the use of SAM for the challenging task of few-shot object counting, which involves counting objects of an unseen category by providing a few bounding boxes of examples. We compare SAM's performance with other few-shot counting methods and find that it is currently unsatisfactory without further fine-tuning, particularly for small and crowded objects. Code can be found at \url{https://github.com/Vision-Intelligence-and-Robots-Group/count-anything}.

研究动机与目标

• 在仅提供少量参考框的情况下评估 SAM 对未见对象类别进行计数的能力。
• 在标准数据集上将 SAM 与现有的少样本计数方法进行比较。
• 识别 SAM 在计数小型或拥挤对象时的失败模式。
• 提出一个非微调的计数流程，利用 SAM 现有特征来估计计数。

提出的方法

• 使用 SAM 的 ViT-H 图像编码器提取密集图像特征。
• 使用参考边界框通过 SAM 提示生成参考对象掩模。
• 对所有候选对象使用点网格提示生成掩模并对其特征取均值。
• 计算参考对象特征与所有候选掩模特征之间的余弦相似度。
• 对相似度进行阈值筛选以计数目标对象，并在不使用额外检测器或分类器的情况下获得总计数。

实验结果

研究问题

• RQ1 在未见类别的计数任务中，SAM 是否能有效分割单个对象？
• RQ2 在 FSC-147 和 COCO val2017 上，SAM 的计数性能与专门的少样本计数方法相比如何？
• RQ3 在用于少样本计数时，SAM 的主要失败模式是什么（例如小尺寸或拥挤对象）？

主要发现

• 在未进一步微调的情况下，SAM 的计数性能逊于最先进的少样本计数方法。
• 在 COCO val2017 上，SAM 相对于最优方法的平均 MAE 差距约为 2 个单位。
• 在 FSC-147 上，SAM 的 MAE 明显劣于最近的方法，MAE 差距超过 10。
• SAM 在小型、密集对象上表现吃力，容易将多个实例预测为单个掩模。
• 对 SAM 计数的缺陷归因于 (i) 同一类别的对象常常只有一个掩模，以及 (ii) 掩模缺乏语义类别注释。
• 尽管存在局限，SAM 在某些稀疏场景中仍能实现准确计数，如可视化所示。