[论文解读] Image Segmentation and Classification for Sickle Cell Disease using Deformable U-Net

Mo Zhang, Xiang Li+2 more|arXiv (Cornell University)|Oct 23, 2017

Digital Imaging for Blood Diseases参考文献 14被引用 23

一句话总结

本文提出一种可变形U-Net架构，用于在镰状细胞病（SCD）红细胞（RBC）图像中联合执行细胞分割与分类。通过将可变形卷积整合到U-Net框架中，该模型能够适应不同形状、大小和图像伪影的RBC，基于人工标注的显微镜图像数据集，实现了97.8%的分割准确率和82.7%的分类准确率，显著优于标准U-Net。

ABSTRACT

Reliable cell segmentation and classification from biomedical images is a crucial step for both scientific research and clinical practice. A major challenge for more robust segmentation and classification methods is the large variations in the size, shape and viewpoint of the cells, combining with the low image quality caused by noise and artifacts. To address this issue, in this work we propose a learning-based, simultaneous cell segmentation and classification method based on the deep U-Net structure with deformable convolution layers. The U-Net architecture for deep learning has been shown to offer a precise localization for image semantic segmentation. Moreover, deformable convolution layer enables the free form deformation of the feature learning process, thus makes the whole network more robust to various cell morphologies and image settings. The proposed method is tested on microscopic red blood cell images from patients with sickle cell disease. The results show that U-Net with deformable convolution achieves the highest accuracy for segmentation and classification, comparing with original U-Net structure.

研究动机与目标

• 开发一种端到端深度学习框架，用于同时对镰状细胞病红细胞进行分割与分类。
• 解决RBC图像分析中的挑战，包括形态异质性、细胞重叠以及因噪声和伪影导致的图像质量低下问题。
• 通过自适应感受野提升对细胞大小、形状和视角空间变化的鲁棒性。
• 通过端到端学习判别性特征，消除对手动特征提取的依赖。
• 利用临床显微镜图像上的深度学习实现准确、自动的SCD诊断。

提出的方法

• 通过在整个网络中用可变形卷积层替换标准卷积层，构建了可变形U-Net架构。
• 可变形卷积学习自适应采样位置以进行特征提取，从而实现灵活、数据驱动的感受野，更好地捕捉不规则RBC形态。
• U-Net架构中编码器到解码器的跳跃连接保留了空间细节，提升了分割中的定位精度。
• 模型在88张人工标注的RBC图像块（共88个样本）上进行端到端训练，其中48个用于训练，40个用于测试。
• 未应用任何图像增强或预处理（如去噪）；直接使用原始256×256图像块进行训练和推理。
• 该框架在单次前向传播中完成像素级语义分割与分类，实现细胞边界与病理状态的联合预测。

实验结果

研究问题

• RQ1 深度学习模型是否能在噪声大、质量低的显微镜图像中，联合实现对镰状细胞病RBC的高精度分割与分类？
• RQ2 与标准U-Net相比，将可变形卷积集成到U-Net中是否能提升对RBC大小、形状和图像伪影变化的鲁棒性？
• RQ3 该模型是否能在无需显式特征工程或图像预处理步骤的情况下实现高性能？
• RQ4 在分割准确率、分类准确率和误报检测方面，可变形U-Net与标准U-Net相比表现如何？
• RQ5 该模型是否能泛化到复杂RBC形态，如镰刀形细胞和重叠细胞？

主要发现

• 可变形U-Net实现了97.8%的分割准确率，显著优于标准U-Net的94.7%。
• 在细胞分类方面，可变形U-Net达到82.7%的准确率，而标准U-Net为73.1%。
• 可变形U-Net的误报数量比标准U-Net减少了33%，表现出更强的噪声抑制能力。
• 该模型生成了更平滑、更准确的细胞边界预测，减少了碎片化或不完整标注现象。
• 可变形U-Net的Error II率降低至12，而标准U-Net为45，表明其在细胞区域内的分类一致性更高。
• 尽管可变形版本的训练时间增加了四倍，但其推理速度与标准模型几乎相同。