[论文解读] Fine-Grained Classification of Cervical Cells Using Morphological and Appearance Based Convolutional Neural Networks

Haoming Lin, Yuyang Hu+3 more|arXiv (Cornell University)|Oct 14, 2018

AI in cancer detection参考文献 26被引用 10

一句话总结

该论文提出了一种深度学习方法，通过融合原始宫颈细胞图像与自动提取的细胞核和胞质分割掩码，以提升对异常变化的细粒度分类性能。通过在Herlev数据集的患者级别划分上微调预训练的CNN（如GoogleNet），该方法在二分类任务中达到94.5%的准确率，在七分类任务中达到64.5%的准确率，表明形态学与外观特征的联合使用可显著提升诊断性能，优于仅依赖外观特征的模型。

ABSTRACT

Fine-grained classification of cervical cells into different abnormality levels is of great clinical importance but remains very challenging. Contrary to traditional classification methods that rely on hand-crafted or engineered features, convolution neural network (CNN) can classify cervical cells based on automatically learned deep features. However, CNN in previous studies do not involve cell morphological information, and it is unknown whether morphological features can be directly modeled by CNN to classify cervical cells. This paper presents a CNN-based method that combines cell image appearance with cell morphology for classification of cervical cells in Pap smear. The training cervical cell dataset consists of adaptively re-sampled image patches coarsely centered on the nuclei. Several CNN models (AlexNet, GoogleNet, ResNet and DenseNet) pre-trained on ImageNet dataset were fine-tuned on the cervical dataset for comparison. The proposed method is evaluated on the Herlev cervical dataset by five-fold cross-validation at patient level splitting. Results show that by adding cytoplasm and nucleus masks as raw morphological information into appearance-based CNN learning, higher classification accuracies can be achieved in general. Among the four CNN models, GoogleNet fed with both morphological and appearance information obtains the highest classification accuracies of 94.5% for 2-class classification task and 64.5% for 7-class classification task. Our method demonstrates that combining cervical cell morphology with appearance information can provide improved classification performance, which is clinically important for early diagnosis of cervical dysplastic changes.

研究动机与目标

• 提升宫颈细胞在异常程度（从轻度至原位癌）上的细粒度分类准确率，该任务在临床上仍具挑战性。
• 探究卷积神经网络是否能直接从形态学（细胞核和胞质掩码）与外观（RGB图像）特征的组合中学习，而无需手工设计特征。
• 评估多种预训练CNN架构（AlexNet、GoogleNet、ResNet、DenseNet）在微调宫颈细胞数据时，是否引入形态学输入对性能的影响。
• 证明将细胞形态学信息整合到深度学习中对宫颈异型增生早期检测的临床价值。

提出的方法

• 该方法从巴氏涂片切片中提取以细胞核为中心的图像块，并采用自适应重采样以确保尺度一致。
• 基于真实标注生成细胞核和胞质分割掩码，并作为额外输入通道与RGB图像融合输入CNN。
• 对四种预训练CNN模型——AlexNet、GoogleNet、ResNet和DenseNet——使用ImageNet的预训练权重，在宫颈细胞数据集上进行迁移学习微调。
• 采用患者级别的五折交叉验证，以确保临床相关性并避免数据泄露。
• 网络输入包含三通道RGB图像及两个额外的二值掩码通道（细胞核与胞质），支持端到端学习联合的外观与形态学特征。
• 性能通过标准指标进行评估：准确率、敏感性、特异性以及二分类和七分类任务的混淆矩阵。

实验结果

研究问题

• RQ1 与仅使用外观特征的模型相比，将原始RGB图像与细胞核及胞质分割掩码结合，是否能提升宫颈细胞细粒度分类的准确率？
• RQ2 通过CNN整合形态学特征，是否优于传统手工设计特征工程在宫颈细胞分类中的表现？
• RQ3 在微调宫颈细胞形态学与外观数据时，哪种预训练CNN架构（AlexNet、GoogleNet、ResNet、DenseNet）表现最佳？
• RQ4 患者级别的数据划分如何影响临床相关场景下分类性能的评估？
• RQ5 为何尽管深层网络（如ResNet和DenseNet）具有更强的容量，却在该数据集上表现不佳？

主要发现

• 当同时输入外观与形态学特征时，GoogleNet-5C在二分类任务中达到最高的94.5%准确率，敏感性为97.4%，特异性为90.4%。
• 在七分类任务中，GoogleNet-5C达到64.5%的准确率，比Herlev数据集上先前的最先进方法高出3.7个百分点。
• 与仅使用RGB图像相比，所有CNN模型在加入细胞核与胞质掩码后，分类性能均有显著提升。
• ResNet与DenseNet模型未超越GoogleNet，可能由于在相对较小的Herlev数据集上出现过拟合，尽管其网络更深。
• 最具有挑战性的类别是中度异型增生，其正确分类率仅为37%，表明在区分细微形态学变化方面仍存在困难。
• 混淆矩阵显示，柱状细胞常被误分类为重度异型增生，原因在于其重叠的形态学特征（如深染细胞核与小胞质）。