[论文解读] Learning to "Segment Anything" in Thermal Infrared Images through Knowledge Distillation with a Large Scale Dataset SATIR

Junzhang Chen, Xiangzhi Bai|arXiv (Cornell University)|Apr 17, 2023

COVID-19 diagnosis using AI被引用 10

一句话总结

本文使用 Segment Anything Model (SAM) 生成伪标签，用于预训练热红外分割模型，创建 SATIR (100k+ images) 并通过知识蒸馏提升 SODA 实际子集分割性能。

ABSTRACT

The Segment Anything Model (SAM) is a promptable segmentation model recently introduced by Meta AI that has demonstrated its prowess across various fields beyond just image segmentation. SAM can accurately segment images across diverse fields, and generating various masks. We discovered that this ability of SAM can be leveraged to pretrain models for specific fields. Accordingly, we have proposed a framework that utilizes SAM to generate pseudo labels for pretraining thermal infrared image segmentation tasks. Our proposed framework can effectively improve the accuracy of segmentation results of specific categories beyond the SOTA ImageNet pretrained model. Our framework presents a novel approach to collaborate with models trained with large data like SAM to address problems in special fields. Also, we generated a large scale thermal infrared segmentation dataset used for pretaining, which contains over 100,000 images with pixel-annotation labels. This approach offers an effective solution for working with large models in special fields where label annotation is challenging. Our code is available at https://github.com/chenjzBUAA/SATIR

研究动机与目标

• 在像 SAM 这样的大规模模型的帮助下，促进在专业领域中对分割模型进行预训练。
• 提出一种知识蒸馏框架，将 SAM 掩模转化为热红外数据的伪标签。
• 创建一个带有像素级注释的大规模 SATIR 数据集用于预训练。
• 在真实热红外数据集（SODA）上演示分割性能的提升。

提出的方法

• 对未标注的热红外图像应用 SAM，并使用点/区域提示生成掩模。
• 通过对 SAM 掩模进行排序并为前几个掩模分配类别索引来构造伪标签。
• 使用带有伪标签的 SATIR 数据集对分割模型进行预训练，以获得一个预训练模型。
• 在目标热红外分割任务上对预训练模型进行微调。
• 在 SODA 实际子集上以 SegFormer 作为骨干评估该方法。
• 与无预训练和 ImageNet 预训练的基线进行对比。

Figure 1: Overview of our proposed method for pretraining thermal infrared image segmentation using knowledge distillation from the Segment Anything Model (SAM) to generate pseudo labels.

实验结果

研究问题

• RQ1 SAM 生成的掩模是否可以为热红外分割模型的预训练提供有用的伪标签？
• RQ2 从 SAM 进行的知识蒸馏是否能在热红外数据上提升分割性能，超越标准预训练？
• RQ3 与 ImageNet 预训练相比，SATIR 预训练对下游性能有何影响？
• RQ4 要在现实目标上取得收益，热红外预训练数据集需要多大且多样化？

主要发现

• SATIR 预训练的 SegFormer 在 SODA 实际子集上获得的 mIoU 与 Fβω 高于无预训练和 ImageNet 预训练基线。
• mIoU 从 0.6514（无预训练）和 0.6775（ImageNet）提升至 0.6906（SATIR）。
• Fβω 从 0.8156（无预训练）和 0.8374（ImageNet）提升至 0.8426（SATIR）。
• 该框架证明，即使掩模标签较粗糙，大模型的知识也能惠及专业领域的预训练。
• SATIR 包含超过 100k 张热红外图像，具有通过 SAM 掩模生成的像素级伪标签。

Figure 2: The proposed framework consists of three steps: (a) construction of a pretrained dataset using SAM, (b) pretraining of the model with the dataset, and (c) finetuning the pretrained model on the target task.