[논문 리뷰] Neural Stain Normalization and Unsupervised Classification of Cell Nuclei in Histopathological Breast Cancer Images

Edwin Yuan, Junkyo Suh|arXiv (Cornell University)|2018. 11. 09.

AI in cancer detection참고 문헌 9인용 수 11

한 줄 요약

이 논문은 H&E 염색된 유방암 조직병리 영상에서 세포핵을 염색 정규화 및 비지도 분류하기 위한 딥러닝 파이프라인을 제시한다. 이는 CNN 기반의 염색 정규화 방법, U-Net을 이용한 핵 세분화, 그리고 형태학적 및 색채 특징에 기반해 완전히 비지도로 핵 유형을 군집화하는 InfoGAN 기반 모델을 사용하며, 정밀도와 F1 스코어에서 k-means 기준선보다 뛰어난 성능을 달성한다.

ABSTRACT

In this paper, we develop a complete pipeline for stain normalization, segmentation, and classification of nuclei in hematoxylin and eosin (H&E) stained breast cancer histopathology images. In the first step, we use a CNN-based stain transfer technique to normalize the staining characteristics of (H&E) images. We then train a neural network to segment images of nuclei from the H&E images. Finally, we train an Information Maximizing Generative Adversarial Network (InfoGAN) to learn visual representations of different types of nuclei and classify them in an entirely unsupervised manner. The results show that our proposed CNN stain normalization yields improved visual similarity and cell segmentation performance compared to the conventional SVD-based stain normalization method. In the final step of our pipeline, we demonstrate the ability to perform fully unsupervised clustering of various breast histopathology cell types based on morphological and color attributes. In addition, we quantitatively evaluate our neural network - based techniques against various quantitative metrics to validate the effectiveness of our pipeline.

연구 동기 및 목표

• 연구소 및 스캐너 간 H&E 염색의 높은 변동성 문제를 해결하기 위해.
• 기준 표준에 맞게 염색 외관을 정규화하여 핵 세분화 및 분류와 같은 후속 작업의 성능을 향상시키기 위해.
• 지식 기반 레이블 없이 형태학적 및 색채 특징에 기반해 세포핵 유형을 완전히 비지도로 분류하는 방법을 개발하기 위해.
• 딥 뉴럴 네트워크가 감독 없이도 핵 유형에 대해 분리된 의미 있는 표현을 학습할 수 있음을 입증하기 위해.

제안 방법

• 색채 및 공간적 특징 상관관계를 학습함으로써 기준 염색 외관으로 H&E 영상을 정규화하는 CNN 기반의 염색 이행 네트워크를 훈련한다.
• 공개 데이터셋을 기반으로 훈련된 U-Net 아키텍처를 사용하여 염색 정규화된 H&E 영상에서 핵을 세분화한다.
• Lipschitz 기울기 페널티와 상호정보 손실을 포함하여 분리된 표현 학습을 장려하는 InfoGAN 기반 아키텍처를 사용한다.
• 생성자는 잠재 코드 조건 하에 현실적인 핵 영상을 생성하고, 구분자는 이러한 코드를 고유한 세포 유형으로 분류하도록 학습한다.
• 잠재 코드를 사용해 핵을 생물학적으로 의미 있는 유형으로 군집화하기 위해, 염색 정규화된 영상에서 엔드 투 엔드로 모델을 훈련한다.
• F1 스코어, 정확도 및 혼동 행렬을 사용하여 성능 평가를 수행하며, k-means 및 ResNet-152 특징 기반 군집화 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 CNN 기반의 염색 정규화 방법은 전통적인 SVD 기반 방법에 비해 시각적 유사성과 세분화 성능을 향상시키는가?
• RQ2 비지도 InfoGAN 기반 모델은 지식 기반 레이블 없이도 H&E 염색 조직병리 영상에서 세포핵 유형을 효과적으로 분류할 수 있는가?
• RQ3 제안된 비지도 모델의 성능은 영상 벡터 또는 딥 페처 기반 전통적 군집화 방법(예: k-means)에 비해 어떻게 비교되는가?
• RQ4 InfoGAN 모델에서 학습된 표현이 핵 밀도 및 색채 변화와 같은 생물학적으로 관련된 특징을 어느 정도 잘 포착하는가?

주요 결과

• 제안된 CNN 기반 염색 정규화 방법은 정량적 지표를 통해 SVD 기반 정규화에 비해 핵 세분화 성능을 크게 향상시킴을 입증하였다.
• InfoGAN 기반의 비지도 분류 모델은 간판세포에 대해 F1 스코어 77.3%를 기록하여 k-means 기준선(46.1%) 및 ResNet-152 k-means 기준선(47.7%)을 모두 초월하였다.
• 모델은 간선세포에 대해 72.5%의 민감도를 보였으며, k-means 기준선의 35%에 비해 생물학적으로 관련된 특징을 더 잘 탐지함을 시사한다.
• 혼동 행렬은 간선세포와 림프구핵 사이의 오분류 오류가 가장 크다는 것을 보여주며, 심미적인 형태학적 및 색채적 차이가 심지어 깊은 모델에게도 도전 과제가 됨을 시사한다.
• 생성된 영상의 높은 현실성에도 불구하고, 분류 결과가 항상 인간이 이해할 수 있는 것은 아니며, 기계적 인식과 인간의 인식 간 괴리가 있음을 나타낸다.
• 모델의 잠재 공간은 핵 밀도 및 세밀한 색채 변화와 같은 저수준 특징을 포착하고 있으며, 이는 간선세포와 림프구핵을 구분하는 데 핵심적인 요소이다.