[논문 리뷰] Cribriform pattern detection in prostate histopathological images using deep learning models

Malay Singh, Emarene Kalaw외 8명|arXiv (Cornell University)|2019. 10. 09.

AI in cancer detection인용 수 5

한 줄 요약

이 논문은 19명의 환자로부터 확득한 H&E 염색 전면 슬라이드 이미지를 사용하여, 병변학적 조직도상에서의 찌그러진 패턴 검출을 위한 딥러닝 기반 시스템을 제안한다. VGG16, VGG19, Inception-v3 등의 미세조정된 합성곱 신경망과 수작업으로 만든 세포핵 특징, 다층 퍼셉트론을 융합한 방법으로, 검증되지 않은 테스트 세트에서 88.04%의 정확도를 달성하여 최신의 수작업 세포핵 특징 기반 접근법을 능가한다.

ABSTRACT

Architecture, size, and shape of glands are most important patterns used by pathologists for assessment of cancer malignancy in prostate histopathological tissue slides. Varying structures of glands along with cumbersome manual observations may result in subjective and inconsistent assessment. Cribriform gland with irregular border is an important feature in Gleason pattern 4. We propose using deep neural networks for cribriform pattern classification in prostate histopathological images. $163708$ Hematoxylin and Eosin (H\\&E) stained images were extracted from histopathologic tissue slides of $19$ patients with prostate cancer and annotated for cribriform patterns. Our automated image classification system analyses the H\\&E images to classify them as either `Cribriform' or `Non-cribriform'. Our system uses various deep learning approaches and hand-crafted image pixel intensity-based features. We present our results for cribriform pattern detection across various parameters and configuration allowed by our system. The combination of fine-tuned deep learning models outperformed the state-of-art nuclei feature based methods. Our image classification system achieved the testing accuracy of $85.93~\\pm~7.54$ (cross-validated) and $88.04~\\pm~5.63$ ( additional unseen test set) across three folds. In this paper, we present an annotated cribriform dataset along with analysis of deep learning models and hand-crafted features for cribriform pattern detection in prostate histopathological images.

연구 동기 및 목표

• Gleason 등급 부여 시 높은 관찰자 간 및 관찰자 내 변동성을 해결하기 위해 전립선 병변학에서 찌그러진 패턴 검출을 자동화하는 것.
• 정확한 Gleason 패턴 4 진단을 위해 중요한 찌그러진 패턴과 비찌그러운 패턴을 구분할 수 있는 신뢰성 있고 객관적인 분류 체계를 개발하는 것.
• 미래의 디지털 병리학 및 인공지능 기반 암 등급 매기기 연구를 지원하기 위해 공개 가능한, 주석이 달린 찌그러진 패턴 데이터셋을 구축하는 것.
• 사전 훈련된 깊은 신경망(예: VGG, Inception, DenseNet)을 사용한 전이학습의 성능을 찌그러진 패턴 검출에 평가하는 것.
• 딥러닝 특징과 수작업으로 만든 세포핵 질감 및 공간적 특징을 융합하여 분류의 강건성을 향상시키는 것.

제안 방법

• 19명의 전립선암 환자로부터 확득한 163,708장의 H&E 염색 전면 슬라이드 이미지를 사용하였으며, 찌그러진 패턴 대비 비찌그러운 패턴으로 수작업 주석을 달았다.
• 사전 훈련된 딥러닝 모델(VGG16, VGG19, Inception-v3, DenseNet-121, DenseNet-169, ResNet-50)을 전이학습을 통해 데이터셋에 맞게 미세조정하였다.
• 세포핵의 질감, 공간 분포 및 형태적 특성을 기반으로 수작업으로 만든 세포핵 특징을 추출하여 찌그러진 패턴 고유의 특징을 포착하였다.
• 다층 퍼셉트론(MLP)을 사용하여 딥러닝 특징와 수작업 세포핵 특징을 융합하여 분류 성능을 향상시켰다.
• 일반화 능력을 확보하기 위해 3겹 교차검증과 추가적인 검증되지 않은 테스트 세트를 사용하여 모델을 평가하였다.
• 입력 이미지를 다양한 크기로 조정(16×16에서 256×256 픽셀)하여 척도 민감도를 평가하고 성능을 최적화하였다.

실험 결과

연구 질문

• RQ1 미세조정된 딥 네트워크가 높은 정확도로 전립선 병변학 이미지에서 찌그러진 패턴을 효과적으로 검출할 수 있는가?
• RQ2 딥러닝 특징과 융합되었을 때 수작업 세포핵 특징이 찌그러진 패턴 검출에 어떤 기여를 하는가?
• RQ3 딥러닝 특징와 수작업 세포핵 특징의 융합이 개별 방법보다 분류 성능을 향상시키는가?
• RQ4 찌그러진 패턴 검출에서 다양한 입력 이미지 크기에서 모델 성능이 어떻게 변하는가?
• RQ5 사전 훈련된 모델에서의 전이학습이 이 특수한 병변학적 분류 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 다층 퍼셉트론(MLP)을 통한 딥러닝 특징와 수작업 세포핵 특징의 융합은 교차검증 테스트 정확도 85.93% ± 7.54를 달성하였다.
• 가장 뛰어난 성능을 보인 모델은 Inception-v3를 사용하고 특징를 융합한 것으로, 독립적이고 검증되지 않은 테스트 세트에서 88.04% ± 5.63의 정확도를 기록하였다.
• 미세조정된 Inception-v3는 다른 개별 모델보다 뛰어난 성능을 보였으며, 교차검증에서 88.18% ± 5.99의 정확도를 기록하였다.
• 딥러닝 특징와 수작업 세포핵 특징의 융합은 각각의 방법을 별도로 사용할 때보다 성능 향상을 보였으며, 상호보완적인 강점을 입증하였다.
• VGG19와 VGG16도 강력한 성능을 보였으며, 교차검증에서 각각 86.78% ± 6.97 및 85.65% ± 6.68의 정확도를 기록하였다.
• 시스템은 최신의 수작업 세포핵 특징 기반 방법을 능가하여, 하이브리드 딥러닝 및 수작업 특징 융합 접근법의 효과성을 입증하였다.