[논문 리뷰] Deep Learning Models Delineates Multiple Nuclear Phenotypes in H&E Stained Histology Sections

Mina Khoshdeli, Bahram Parvin|arXiv (Cornell University)|2018. 02. 13.

AI in cancer detection참고 문헌 14인용 수 3

한 줄 요약

이 논문은 헤마토실린-에오신(H&E) 염색 조직 슬라이드에서 다양한 핵 형상, 특히 구형 및 겹쳐진 핵을 정확하게 분할하기 위해 영역 기반 및 경계 기반 컨volution 신경망(CNN)을 융합하는 딥러닝 프레임워크를 제안한다. 이 방법은 유방 및 뇌 종양 절편에서 높은 정밀도로 분할을 구현하며, 색상 분해 및 후처리를 통해 끈적이는 핵을 분리하는 데 63.2% 향상되었고, F-스코어는 0.91 이상을 기록하였다.

ABSTRACT

Nuclear segmentation is an important step for profiling aberrant regions of histology sections. However, segmentation is a complex problem as a result of variations in nuclear geometry (e.g., size, shape), nuclear type (e.g., epithelial, fibroblast), and nuclear phenotypes (e.g., vesicular, aneuploidy). The problem is further complicated as a result of variations in sample preparation. It is shown and validated that fusion of very deep convolutional networks overcomes (i) complexities associated with multiple nuclear phenotypes, and (ii) separation of overlapping nuclei. The fusion relies on integrating of networks that learn region- and boundary-based representations. The system has been validated on a diverse set of nuclear phenotypes that correspond to the breast and brain histology sections.

연구 동기 및 목표

• 생물학적 이질성과 샘플 제작 기술적 변동으로 인해 H&E 염색 조직 슬라이드에서 핵 분할에 도전적인 문제를 해결하기 위해.
• 특히 구형 및 겹쳐진 핵을 분할하는 데 있어 전통적 방법의 한계를 극복하기 위해.
• 대규모 조직병리학적 분석을 위한 전체 슬라이드 이미지 처리가 가능한 강력하고 고속의 프레임워크를 개발하기 위해.
• 영역 기반 및 경계 기반 표현을 융합 CNN을 통해 통합하여 분할 정확도 향상과 끈적임 핵 분리 성능 향상을 위해.

제안 방법

• 영역 기반 및 경계 기반 분할 네트워크 모두에 인코더-디코더 U-Net 아키텍처(ENet)를 사용한다.
• 영역 기반 네트워크를 학습시켜 픽셀 단위로 전경(핵) 또는 배경으로 분류하도록 한다.
• 경계 기반 네트워크를 학습시켜 특히 겹쳐진 영역에서 핵 간의 감각 경계를 탐지하도록 한다.
• 공간적 표현과 경계 표현을 결합할 수 있도록 영역 기반 및 경계 기반 네트워크의 출력을 융합하는 제3의 ENet을 사용한다.
• 색소 분해를 적용하여 헤마토실린 염색 핵 영역을 분리함으로써 입력 복잡도를 감소시키고 학습 효율성을 향상시킨다.
• 융합 네트워크 추론 후 잔류하는 겹쳐진 핵을 해결하기 위해 워터셰드 분할을 활용한 후처리를 수행한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 H&E 염색 슬라이드에서 구형 및 이형성 핵을 포함한 여러 핵 형상 유형을 동시에 효과적으로 분할할 수 있는가?
• RQ2 영역 기반 방법에 비해 경계 기반 표현이 겹쳐진 또는 끈적이는 핵을 얼마나 잘 분리할 수 있는가?
• RQ3 영역 기반 및 경계 기반 CNN의 융합이 단일 네트워크 또는 그래프 컷과 같은 전통적 분할 방법보다 정확도와 견고성 면에서 뛰어나게 성능을 발휘하는가?
• RQ4 색소 분해가 다양한 조직학적 샘플에서 핵 분할 모델의 성능과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 융합 ENet 모델은 테스트 세트에서 F-스코어 0.91을 기록하여 단일 ENet(F-스코어 0.85)과 다중 기준 그래프 컷(F-스코어 0.79)보다 유의미하게 뛰어난 성능을 보였다.
• 겹쳐진 핵의 분리 성능이 63.2% 향상되어 98개의 끈적임 핵 중 62개가 정확히 분리되었으며, 도전적인 케이스에서 뛰어난 성능을 입증하였다.
• 색소 분해 덕분에 분할 성능이 향상되었으며, 융합 ENet + CD + 워터셰드 접근 방식이 가장 높은 정밀도(0.94)와 재현율(0.88)을 기록하였다.
• 시스템은 단일 GPU에서 크기가 약 360×480인 이미지를 약 60ms 내에 처리하여 전체 슬라이드 이미지의 고속 분석을 가능케 하였다.
• 모델은 기존 방법으로는 일반적으로 잘 처리되지 않는 어려운 형상, 예를 들어 구형 핵과 높은 다형성을 띤 핵을 성공적으로 분할하였다.
• 워터셰드 분할을 통한 후처리로 잔류하는 겹쳐진 핵이 해결되어 고정밀도의 분할 파이프라인을 완성하였다.