[논문 리뷰] Comparison of Deep Learning and Traditional Machine Learning Techniques for Classification of Pap Smear Images

Abdurrahim Yılmaz, Ali Anıl Demirçalı외 2명|arXiv (Cornell University)|2020. 09. 11.

AI in cancer detection인용 수 14

한 줄 요약

이 연구는 헬레브 데이터셋에서 파파니우스 도말 영상의 정상 및 비정상 자궁경부 세포를 분류하기 위해 기존 기계학습(예: XGBoost, kNN)과 딥러닝(CNN)을 비교한다. 구글 Colab와 텐서플로우, 사이킷런을 사용하여, CNN은 93%의 테스트 정확도를 기록했으며, 이는 가장 우수한 기존 방법(85%로 XGBoost와 kNN)을 크게 앞서며, 수동 특징 공학 없이도 원시 영상에서 특징을 자동으로 학습한다.

ABSTRACT

A comprehensive study on machine and deep learning techniques for classification of normal and abnormal cervical cells by using pap smear images from Herlev dataset results are presented. This dataset includes 917 images and 7 different classes. All techniques used in this study are modeled by using Google Colab platform with scikit-learn and Keras library inside TensorFlow. In the first study, traditional machine learning methods such as logistic regression, k-Nearest Neighbors (kNN), Support Vector Machine (SVM), Decision Tree, Random Forest and eXtreme Gradient Boosting (XGBoost) are used and compared with each other to find binary classification as normal and abnormal cervical cells. Better results are observed by XGBoost and kNN classifiers among the others with an accuracy of 85%. In the second study, a deep learning model based on Convolutional Neural Network(CNN) is used for the same dataset. Accordingly, accuracies of 99% and 93% are obtained for the training and the test dataset, respectively. In this model, it takes 50 epochs to have these accuracies within 20 minutes of computational time.

연구 동기 및 목표

• 기존 기계학습 및 딥러닝 모델이 파파니우스 도말 영상에서 정상 및 비정상 자궁경부 세포를 분류하는 데서의 성능을 평가하고 비교하는 것.
• 헬레브 데이터셋을 사용하여 하이퍼파라미터 최적화와 특징 공학이 모델 정확도에 미치는 영향을 평가하는 것.
• 딥러닝 모델을 구글 Colab에서 훈련시켜 의료 영상 분류 작업에 있어 효율성과 효과성을 입증하는 것.
• 딥러닝 모델의 엔드 투 엔드 특징 학습이 기존 기계학습에서 사용하는 수작업 특징보다 자궁경부암 스크리닝에서 더 높은 성능을 내는지 평가하는 것.
• 동일한 데이터셋과 평가 지표를 사용하여 재현 가능한 결과를 보고하여 향후 연구의 기준을 제시하는 것.

제안 방법

• 헬레브 데이터셋의 917개 레이블이 부여된 파파니우스 도말 영상에서 기계학습 모델 7종(로지스틱 회귀, k-NN, SVM, 나이브 베이즈, 결정 트리, 랜덤 포레스트, XGBoost)을 훈련하고 비교하였다.
• 구글 Colab에서 텐서플로우와 케라스를 사용해 전용 컨볼루션 신경망(CNN)을 구현하였으며, 전이 학습이나 사전 학습 없이 수행하였다.
• 64×64 픽셀로 리사이징된 영상과 함께 50에포크 동안 훈련하여, 최소한의 수작업 특징 공학으로도 높은 성능를 달성하였다.
• scikit-learn를 통해 정확도, 재현율, 정밀도, 특이도, F1-스코어와 같은 표준 지표를 사용해 모든 모델을 평가하였다.
• 각 모델의 하이퍼파라미터를 체계적인 튜닝을 통해 최적화하였으며, CNN의 경우 약 20분, 기계학습 모델의 경우 1000개의 하이퍼파라미터 조합에 대해 약 20초의 계산 시간이 소요되었다.
• 정상과 비정상으로 분류하기 위해 7개 클래스 문제를 단순화하여 경도, 중등도, 중증 이형성 및 카르시노마 인 스티투를 모두 비정상으로 통합하여 이진 분류 문제로 전환하였다.

실험 결과

연구 질문

• RQ1 기존 기계학습 모델(예: XGBoost, kNN)은 파파니우스 도말 영상에서 정상 및 비정상 자궁경부 세포를 분류하는 데서 딥러닝 모델에 비해 어떤 성능을 보이는가?
• RQ2 이러한 의료 영상 분류 작업에서 하이퍼파라미터 최적화는 기계학습 모델의 성능에 어떤 영향을 미치는가?
• RQ3 헬레브 데이터셋에서 전이 학습이나 사전 학습 없이도 전용 CNN 모델이 높은 정확도를 달성할 수 있는가?
• RQ4 CNN의 자동 특징 추출 능력은 기존 기계학습에서 사용하는 수작업 특징과 비교해 어떻게 다른가?
• RQ5 구글 Colab에서 이러한 모델을 훈련시키는 데서의 계산 효율성은 무엇이며, 이는 모델 개발 속도에 어떤 영향을 미치는가?

주요 결과

• XGBoost와 k-최근접 이웃(kNN) 분류기가 기존 기계학습 모델 중에서 가장 높은 정확도를 기록하여 테스트 세트에서 85%의 정확도를 달성하였다.
• 전용 컨볼루션 신경망(CNN)은 훈련 세트에서 99%의 정확도, 테스트 세트에서 93%의 정확도를 기록하여 모든 기존 모델을 크게 앞섰다.
• CNN 모델은 테스트 세트에서 정밀도 96%, 재현율 93%, F1-스코어 95%, 특이도 89%를 기록하여 강력한 일반화 능력과 내구성을 보였다.
• 전이 학습 없이도 64×64 픽셀 영상만을 사용했음에도 불구하고, 이는 복잡한 전처리 및 특징 추출을 사용한 이전 연구들을 뛰어넘는 거의 최신 기술 수준의 성능를 달성하였다.
• 하이퍼파라미터 튜닝 및 모델 평가를 포함한 전체 훈련 파이프라인은 구글 Colab에서 20분 이내에 효율적으로 완료되어 빠른 프로토타이핑의 유용성을 입증하였다.
• 이 연구는 엔드 투 엔드 특징 학습을 갖춘 딥러닝 모델이 자궁경부암 스크리닝 분야에서 기존 기계학습 방법에 비해 정확도와 일관성 면에서 뛰어나다는 것을 확인하였다.