[论文解读] Comparison of Deep Learning and Traditional Machine Learning Techniques for Classification of Pap Smear Images

Abdurrahim Yılmaz, Ali Anıl Demirçalı+2 more|arXiv (Cornell University)|Sep 11, 2020

AI in cancer detection被引用 14

一句话总结

本研究对比了传统机器学习（如XGBoost、kNN）与深度学习（CNN）在Herlev数据集的巴氏涂片图像中对正常与异常宫颈细胞的分类表现。使用Google Colab结合TensorFlow与scikit-learn，CNN在测试集上达到93%的准确率，显著优于表现最佳的传统方法（XGBoost与kNN均为85%），且无需人工特征工程即可自动从原始图像中学习特征。

ABSTRACT

A comprehensive study on machine and deep learning techniques for classification of normal and abnormal cervical cells by using pap smear images from Herlev dataset results are presented. This dataset includes 917 images and 7 different classes. All techniques used in this study are modeled by using Google Colab platform with scikit-learn and Keras library inside TensorFlow. In the first study, traditional machine learning methods such as logistic regression, k-Nearest Neighbors (kNN), Support Vector Machine (SVM), Decision Tree, Random Forest and eXtreme Gradient Boosting (XGBoost) are used and compared with each other to find binary classification as normal and abnormal cervical cells. Better results are observed by XGBoost and kNN classifiers among the others with an accuracy of 85%. In the second study, a deep learning model based on Convolutional Neural Network(CNN) is used for the same dataset. Accordingly, accuracies of 99% and 93% are obtained for the training and the test dataset, respectively. In this model, it takes 50 epochs to have these accuracies within 20 minutes of computational time.

研究动机与目标

• 评估并比较传统机器学习与深度学习模型在巴氏涂片图像中对正常与异常宫颈细胞分类的性能。
• 评估超参数优化与特征工程对模型准确率的影响，基于Herlev数据集。
• 展示在Google Colab上训练深度学习模型进行医学图像分类任务的效率与有效性。
• 评估卷积神经网络（CNN）的端到端特征学习是否优于传统机器学习方法中手工设计的特征，用于宫颈癌筛查。
• 通过使用相同数据集与评估指标报告可复现的结果，为未来研究提供基准。

提出的方法

• 在Herlev数据集的917张带标签巴氏涂片图像上，训练并比较了七种传统机器学习模型：逻辑回归、k-NN、SVM、朴素贝叶斯、决策树、随机森林与XGBoost。
• 在Google Colab中使用Keras与TensorFlow实现自定义卷积神经网络（CNN），未使用迁移学习或预训练。
• 使用64×64像素的图像缩放，并训练CNN共50个周期，实现高性能，且人工特征工程需求极低。
• 通过scikit-learn计算标准评估指标：准确率、召回率、精确率、特异性与F1-score，对所有模型进行评估。
• 通过系统性调优对每种模型的超参数进行优化，CNN训练耗时约20分钟，传统机器学习在1000组超参数组合下耗时约20秒。
• 通过将轻度、中度、重度不典型增生及原位癌合并为异常类别，将原始的7分类问题转化为二分类任务（正常 vs. 异常）。

实验结果

研究问题

• RQ1 与深度学习模型相比，传统机器学习模型（如XGBoost、kNN）在巴氏涂片图像中对正常与异常宫颈细胞的分类表现如何？
• RQ2 超参数优化对本医学图像分类任务中机器学习模型性能的影响是什么？
• RQ3 在Herlev数据集上，未经迁移学习或预训练的自定义CNN模型能否实现高准确率？
• RQ4 CNN的自动特征提取能力与传统机器学习中使用的手工特征相比如何？
• RQ5 在Google Colab上训练这些模型的计算效率如何？其对模型开发速度有何影响？

主要发现

• XGBoost与k最近邻（kNN）分类器在测试集上达到传统机器学习模型中的最高准确率，为85%。
• 自定义卷积神经网络（CNN）在训练集上达到99%的准确率，在测试集上达到93%的准确率，显著优于所有传统模型。
• CNN模型在测试集上实现96%的精确率、93%的召回率、95%的F1-score与89%的特异性，表明其具有出色的泛化能力与鲁棒性。
• 尽管仅使用64×64像素图像且未进行迁移学习，CNN模型仍实现了接近最先进水平的性能，优于先前采用复杂预处理与特征提取方法的研究。
• 整个训练流程，包括超参数调优与模型评估，均在Google Colab上于20分钟内高效完成，证明其在快速原型开发中的实用性。
• 本研究证实，具备端到端特征学习能力的深度学习模型在巴氏涂片图像分类任务中，其准确率与一致性均优于传统机器学习方法。