[논문 리뷰] Fine-Grained Classification of Cervical Cells Using Morphological and Appearance Based Convolutional Neural Networks

Haoming Lin, Yuyang Hu외 3명|arXiv (Cornell University)|2018. 10. 14.

AI in cancer detection참고 문헌 26인용 수 10

한 줄 요약

이 논문은 원시 자궁경부 세포 영상과 자동으로 추출된 세포핵 및 세 cytoplasm 분할 마스크를 융합하는 딥러닝 방법을 제안하여, 병변의 미세 분류 정확도를 향상시킨다. Herlev 데이터셋의 환자 수준 분할에서 사전 훈련된 CNN(예: GoogleNet)을 미세 조정함으로써, 2개 클래스 분류에서 94.5%의 정확도와 7개 클래스 분류에서 64.5%의 정확도를 달성하여, 형태학적 특징과 외관 특징이 함께 작용할 경우 외관 특징만을 사용하는 모델보다 진단 성능이 향상됨을 보여준다.

ABSTRACT

Fine-grained classification of cervical cells into different abnormality levels is of great clinical importance but remains very challenging. Contrary to traditional classification methods that rely on hand-crafted or engineered features, convolution neural network (CNN) can classify cervical cells based on automatically learned deep features. However, CNN in previous studies do not involve cell morphological information, and it is unknown whether morphological features can be directly modeled by CNN to classify cervical cells. This paper presents a CNN-based method that combines cell image appearance with cell morphology for classification of cervical cells in Pap smear. The training cervical cell dataset consists of adaptively re-sampled image patches coarsely centered on the nuclei. Several CNN models (AlexNet, GoogleNet, ResNet and DenseNet) pre-trained on ImageNet dataset were fine-tuned on the cervical dataset for comparison. The proposed method is evaluated on the Herlev cervical dataset by five-fold cross-validation at patient level splitting. Results show that by adding cytoplasm and nucleus masks as raw morphological information into appearance-based CNN learning, higher classification accuracies can be achieved in general. Among the four CNN models, GoogleNet fed with both morphological and appearance information obtains the highest classification accuracies of 94.5% for 2-class classification task and 64.5% for 7-class classification task. Our method demonstrates that combining cervical cell morphology with appearance information can provide improved classification performance, which is clinically important for early diagnosis of cervical dysplastic changes.

연구 동기 및 목표

• 자궁경부 세포의 이상 정도 수준(경증에서 카이노마 인 시투까지)에 대한 미세 분류 정확도를 향상시키는 것. 이는 여전히 임상적으로 도전적인 과제이다.
• 합성 신경망이 수작업으로 설계된 특징 없이, 형태학적(세포핵 및 세 cytoplasm 마스크) 및 외관(RGB 이미지) 특징을 함께 직접 학습할 수 있는지 조사하는 것.
• 다양한 사전 훈련된 CNN 아키텍처(AlexNet, GoogleNet, ResNet, DenseNet)가 자궁경부 세포 데이터에 대해 형태학적 입력 유무에 따라 미세 조정되었을 때의 성능을 평가하는 것.
• 세포 형태학적 특징을 딥러닝에 통합함으로써 자궁경부 이형성 조기 진단의 임상적 가치를 입증하는 것.

제안 방법

• 논문은 페판 스며침 슬라이드에서 세포핵 중심의 영상 패치를 추출하며, 일관된 크기를 확보하기 위해 적응형 재샘플링을 사용한다.
• 세포핵 및 세 cytoplasm 분할 마스크는 기준(annotation) 데이터에서 생성되며, RGB 이미지와 함께 CNN의 추가 입력 채널로 융합된다.
• 네 가지 사전 훈련된 CNN 모델(AlexNet, GoogleNet, ResNet, DenseNet)이 ImageNet에서의 전이 학습을 통해 자궁경부 세포 데이터셋에서 미세 조정된다.
• 임상적 관련성과 데이터 泄露를 방지하기 위해 환자 수준에서 5중 교차 검증을 수행한다.
• 모델 입력은 세 채널 RGB 이미지와 추가로 두 개의 이진 마스크 채널(세포핵 및 세 cytoplasm)로 구성되며, 외관과 형태학적 특징의 통합 학습을 위한 엔드 투 엔드 학습이 가능하다.
• 성능 평가는 표준 지표인 정확도, 민감도, 특이도 및 2개 클래스와 7개 클래스 분류 작업 모두에 대한 혼동 행렬을 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 원시 RGB 이미지와 세포핵 및 세 cytoplasm 분할 마스크를 융합함으로써, 외관 특징만을 사용하는 모델보다 자궁경부 세포의 미세 분류 정확도가 향상되는가?
• RQ2 CNN을 통한 형태학적 특징 통합이 자궁경부 세포 분류에서 전통적인 수작업 특징 엔지니어링 기법을 능가하는가?
• RQ3 사전 훈련된 CNN 아키텍처 중에서(AlexNet, GoogleNet, ResNet, DenseNet), 자궁경부 세포 형태학적 및 외관 데이터에 대해 미세 조정되었을 때 가장 우수한 성능을 보이는 것은 무엇인가?
• RQ4 환자 수준의 데이터 분할 방식이 임상적으로 관련성이 있는 설정에서 분류 성능 평가에 어떤 영향을 미치는가?
• RQ5 깊은 네트워크인 ResNet과 DenseNet이 상대적으로 작은 Herlev 데이터셋을 고려할 때, 그 능력에도 불구하고 이 데이터셋에서 성능이 열등한 이유는 무엇인가?

주요 결과

• GoogleNet-5C는 외관 및 형태학적 특징을 모두 입력받을 경우, 2개 클래스 분류에서 최고의 정확도 94.5%를 기록했으며, 민감도 97.4%, 특이도 90.4%를 달성했다.
• 7개 클래스 분류 작업에서는 GoogleNet-5C가 64.5%의 정확도를 기록하여, 이전 최고 성능 기준 모델보다 Herlev 데이터셋에서 3.7%포인트 높은 성능을 보였다.
• 세포핵 및 세 cytoplasm 마스크의 추가로 인해, RGB 이미지만을 사용하는 경우에 비해 모든 CNN 모델에서 분류 성능 향상이 뚜렷하게 관찰되었다.
• ResNet과 DenseNet 모델은 GoogleNet을 능가하지 못했으며, 이는 상대적으로 작은 Herlev 데이터셋으로 인한 과적합 가능성 때문일 것이다.
• 가장 과제가 되는 클래스는 중등도 이형성으로, 정확한 분류율이 오직 37%에 불과하여 미세한 형태학적 변화를 구분하는 데 여전히 어려움이 있음을 시사한다.
• 혼동 행렬 분석 결과, 기둥상 세포가 어두운 세포핵과 작은 세 cytoplasm 등의 겹치는 형태학적 특징으로 인해 자주 심한 이형성으로 잘못 분류되는 것으로 나타났다.