[论文解读] Multi-stream Cell Segmentation with Low-level Cues for Multi-modality Images

Wei Lou, Xinyi Yu+5 more|arXiv (Cornell University)|Oct 22, 2023

Image Processing Techniques and Applications被引用 7

一句话总结

本论文提出一个按类别的多流分割框架，先通过低级线索对多模态细胞图像进行分类，然后应用面向类别的分割模型（圆形细胞使用 Stardist，非规则形状使用 HoverNet），并配以高效的 ConvNeXt 主干网络。

ABSTRACT

Cell segmentation for multi-modal microscopy images remains a challenge due to the complex textures, patterns, and cell shapes in these images. To tackle the problem, we first develop an automatic cell classification pipeline to label the microscopy images based on their low-level image characteristics, and then train a classification model based on the category labels. Afterward, we train a separate segmentation model for each category using the images in the corresponding category. Besides, we further deploy two types of segmentation models to segment cells with roundish and irregular shapes respectively. Moreover, an efficient and powerful backbone model is utilized to enhance the efficiency of our segmentation model. Evaluated on the Tuning Set of NeurIPS 2022 Cell Segmentation Challenge, our method achieves an F1-score of 0.8795 and the running time for all cases is within the time tolerance.

研究动机与目标

• 自动将多模态显微镜图像分类为四个基于低级特征的类别。
• 训练类别特定的分割模型，以发挥不同分割方法的优势。
• 用 ConvNeXt 主干提升效率，并在 NeurIPS 2022 Cell Segmentation Challenge 数据上评估端到端性能。
• 研究通过伪标签的未标注数据是否能提升分割性能。

提出的方法

• 通过 ConvNeXt-Stardist 分割模型进行伪标签综合的自动细胞图像分类以生成标签。
• 基于低级线索将图像无监督分类为四类（二值、灰度、大细胞颜色、小细胞颜色）。
• 训练一个基于 ResNet18 的分类器，将测试图像分配到四个类别之一。
• 按类别进行多流分割，圆形细胞使用 ConvNeXt-Stardist（类别 0、2、3），非规则细胞使用 ConvNeXt-Hover（类别 1）。
• 在所有带标数据上进行预训练；针对相应类别图像进行微调。
• Stardist 的损失：CE、Dice、MAE；Hover 的损失：CE、Dice、MSE、MSGE；后处理采用 NMS 和标记控制的分水岭。
• 推理阶段使用分类器将测试图像路由到相应的按类别分割模型。

实验结果

研究问题

• RQ1 自动基于低级特征的多模态显微图像聚类是否能提升跨模态的分割泛化能力？
• RQ2 按类别的多流分割框架是否在多模态细胞图像上优于单模型方法？
• RQ3 ConvNeXt 主干结合 Stardist 或 HoverNet 头部是否对不同形状的细胞实现高效、准确的分割？
• RQ4 将未标注数据通过伪标签引入是否能提升分割性能？

主要发现

• 在调参集上，所提出的流程实现了总体 F1 为 0.8795 。
• 按类别微调在调参集上将分割性能提升了最高 5.81% 的 F1。
• 使用类别特定模型（某些类别使用 Stardist，Class 1 使用 Hover）相较于预训练且未微调的对照组具有性能提升。
• 最终调参集上的平均 F1 显示出改进：本方法达到 0.8795，而预训练变体为较低水平。
• 定性结果表明在密集分布与稀疏分布的细胞上表现强劲，但在前景明亮/背景深色的图像上存在一些失效。
• 在所有调参集案例中，运行时间均在允许的时间容差内。