[논문 리뷰] A Guided Spatial Transformer Network for Histology Cell Differentiation

Marc Aubreville, Maximilian Krappmann외 3명|arXiv (Cornell University)|2017. 01. 01.

AI in cancer detection참고 문헌 9인용 수 5

한 줄 요약

이 논문은 히스토모로지 세포 분류를 위한 지능형 공간 변형 네트워크(STN)를 딥 컨volution 신경망에 통합하여, 미세분열도, 정상 종양세포, 호산구를 자동으로 구분하는 방법을 제안한다. 10,000개의 레이블링된 세포로 구성된 새로운 데이터셋과 병합된 국소화-분류 손실을 사용함으로써, 5겹 교차검증에서 평균 정확도 91.45%를 달성하여, 미세분열도 수세기에서의 객관성 향상과 관찰자 간 변동성 감소에 크게 기여한다.

ABSTRACT

Identification and counting of cells and mitotic figures is a standard task in diagnostic histopathology. Due to the large overall cell count on histological slides and the potential sparse prevalence of some relevant cell types or mitotic figures, retrieving annotation data for sufficient statistics is a tedious task and prone to a significant error in assessment. Automatic classification and segmentation is a classic task in digital pathology, yet it is not solved to a sufficient degree. We present a novel approach for cell and mitotic figure classification, based on a deep convolutional network with an incorporated Spatial Transformer Network. The network was trained on a novel data set with ten thousand mitotic figures, about ten times more than previous data sets. The algorithm is able to derive the cell class (mitotic tumor cells, non-mitotic tumor cells and granulocytes) and their position within an image. The mean accuracy of the algorithm in a five-fold cross-validation is 91.45%. In our view, the approach is a promising step into the direction of a more objective and accurate, semi-automatized mitosis counting supporting the pathologist.

연구 동기 및 목표

• 병리의사가 고배율 시야를 주관적으로 선택함으로써 발생하는 미세분열도 수세기에서의 높은 관찰자 간 변동성을 해결하기 위해.
• 기존 데이터셋이 작고, 미세분열도 탐지에 있어 강건한 딥 러닝 모델을 훈련시키기에 부족함이 있다는 한계를 극복하기 위해.
• 높은 미세분열도 활성도를 보이는 대표적인 영역을 식별함으로써 병리의사의 보조를 위한 반자동, 객관적인 시스템을 개발하기 위해.
• 공간 주의 메커니즘을 통해 공간 변형 네트워크(STN)를 통합하여 희귀하고 형태가 다양하게 변하는 세포 유형의 국소화 및 분류 성능을 향상시키기 위해.
• 미래의 디지털 병리학 연구를 위해, 각 클래스별로 10,000개의 세포를 포함하는 대규모 고품질 병리의사 레이블링 데이터셋을 구축하기 위해.

제안 방법

• 희귀 세포 유형(예: 미세분열도 또는 호산구)을 포함한 관련 영역에 동적으로 집중할 수 있도록, 딥 컨volution 신경망에 공간 변형 네트워크(STN)를 통합한다.
• STN은 입력 이미지에서 자르기 영역(이동, 확대 비율, 회전)을 예측하고, 이를 분류 헤드에 공급한다.
• 국소화 손실(lloc)과 분류 손실(lcla)을 병합한 병합 손실 함수를 사용하며, 이는 가중치 인자 κ를 통해 조정되며, 엔드 투 엔드 훈련이 가능하다.
• 세 가지 클래스(미세분열도 종양세포, 비미세분열도 종양세포, 호산구)에 대해 병리의사가 검증한 레이블이 부여된, 10,000개의 H&E 염색 히스토모로지 이미지로 구성된 새로 구축된 데이터셋을 사용하여 모델을 훈련시킨다.
• 데이터 증강과 함께 200 에포크 동안 학습률 10⁻³로 5겹 교차검증을 수행한다.
• 국소화와 분류를 분리함으로써 계산 복잡도를 감소시키면서도 높은 성능를 유지한다.

실험 결과

연구 질문

• RQ1 제한된 훈련 데이터로 인해, 지도형 공간 변형 네트워크(STN)가 히스토파스 toll로지 영상에서 세포 유형 분류 정확도를 향상시킬 수 있는가?
• RQ2 병합된 손실 함수를 통한 국소화 및 분류의 동시 최적화가, 미세분열도처럼 희귀하고 형태가 다양하게 변하는 세포 유형의 탐지 성능을 향상시키는가?
• RQ3 각 클래스별로 10,000개의 레이블링된 세포를 포함하는 대규모 고품질 데이터셋이 이전의 데이터셋보다 더 나은 일반화 성능을 가능하게 하는가?
• RQ4 STN 기반 주의 메커니즘이 랜덤 시야 선택에 대한 의존도를 얼마나 줄이고, 미세분열도 수세기에서의 객관성을 향상시키는가?
• RQ5 3개 클래스의 히스토모로지 세포 분류에서, 제안된 방법이 표준 CNN 기반 모델 대비 정밀도, 재현율, F1 점수 측면에서 어떻게 성능을 냅니다?

주요 결과

• 제안된 CNN-STN 모델은 5겹 교차검증에서 평균 정확도 91.45%를 달성하여, 기준 12층 CNN보다 유의미하게 뛰어난 성능을 보였다.
• 모델의 정밀도는 90.4%에서 93.4% 사이, 재현율은 90.1%에서 92.8% 사이로, 모든 세 클래스에서 높고 균형 잡힌 성능를 나타냈다.
• 기준 CNN의 평균 F1 점수는 0.869였고, CNN-STN는 이를 0.915로 향상시켜 상당한 성능 향상을 입증했다.
• 오분류의 원인은 주로 STN의 잘못된 국소화였지만, 이는 주로 희귀 사건을 우선시하는 모델의 특성상 주변 세포를 정확히 식별할 수 있다는 점에서 주요 결함은 아니었다.
• 본 연구는 각 클래스별로 10,000개의 병리의사 레이블링된 세포 영상으로 구성된 새로운 데이터셋을 도입하였으며, 이는 이전 데이터셋보다 10배 크며 전이 학습에 적합하다.
• 분류와 함께 STN를 통합함으로써, 네트워크는 미세분열도의 형태 변동성에 대비한 강건성을 향상시키는 주의 메커니즘을 학습할 수 있었다.