[논문 리뷰] Multi-Stage Pathological Image Classification using Semantic Segmentation

Shusuke Takahama, Yusuke Kurose외 6명|arXiv (Cornell University)|2019. 10. 10.

AI in cancer detection참고 문헌 34인용 수 7

한 줄 요약

이 논문은 국소적이고 전반적인 맥락을 모두 활용하기 위해 패치 기반 CNN 특징 추출과 전체 슬라이드 영역의 의미적 세그멘테이션을 결합한 다단계 병리 영상 분류 프레임워크를 제안한다. 기존의 패치 중심 방법보다 높은 정확도를 달성하며, 제한된 GPU 메모리 환경에서도 경량화된 기울기 유지 및 선택적 훈련 전략을 통해 엔드 투 엔드 학습을 가능하게 하여, 더 매끄럽고 임상적으로 유용한 종양 확률 히트맵을 생성함으로써 잘못된 '종양 지점'을 줄인다.

ABSTRACT

Histopathological image analysis is an essential process for the discovery of diseases such as cancer. However, it is challenging to train CNN on whole slide images (WSIs) of gigapixel resolution considering the available memory capacity. Most of the previous works divide high resolution WSIs into small image patches and separately input them into the model to classify it as a tumor or a normal tissue. However, patch-based classification uses only patch-scale local information but ignores the relationship between neighboring patches. If we consider the relationship of neighboring patches and global features, we can improve the classification performance. In this paper, we propose a new model structure combining the patch-based classification model and whole slide-scale segmentation model in order to improve the prediction performance of automatic pathological diagnosis. We extract patch features from the classification model and input them into the segmentation model to obtain a whole slide tumor probability heatmap. The classification model considers patch-scale local features, and the segmentation model can take global information into account. We also propose a new optimization method that retains gradient information and trains the model partially for end-to-end learning with limited GPU memory capacity. We apply our method to the tumor/normal prediction on WSIs and the classification performance is improved compared with the conventional patch-based method.

연구 동기 및 목표

• 전체 슬라이드 영상(WSIs)에서 패치 기반 분류의 한계를 해결하기 위해, 전반적인 맥락과 인접 패치 간의 관계를 간과하는 문제를 해결한다.
• 국소적 패치 수준의 특징과 전반적인 전체 슬라이드 수준의 맥락을 통합함으로써 분류 성능을 향상시킨다.
• 제한된 GPU 메모리 용량 조건에서도 분류 및 세그멘테이션 모델을 통합한 엔드 투 엔드 훈련을 가능하게 한다.
• 병리학자가 검토하기에 유용한 임상적 행동 가능성을 갖춘 종양 확률 히트맵을 생성하여 잘못된 '종양 지점'을 최소화한다.

제안 방법

• 이 방법은 이중 단계 파이프라인을 사용한다: 먼저, 고해상도 WSIs에서 잘린 작은 패치들로부터 CNN이 특징을 추출한다.
• 이러한 패치 특징들이 집계되어 의미적 세그멘테이션 모델에 입력되어, 전반적인 공간적 맥락을 반영한 전체 슬라이드 종양 확률 히트맵을 생성한다.
• 기존의 메모리 사용을 줄이기 위해, 역전파 동안 특징 추출기의 기울기를 유지하고, 세그멘테이션 모델은 고정된 채로 선택적으로 훈련하는 새로운 최적화 전략을 도입한다.
• 모델은 각 반복에서 일부 패치만 처리하는 메모리 효율적인 미세조정 전략을 사용하여 엔드 투 엔드로 훈련된다.
• 이 프레임워크는 국소적 패치 수준의 분류와 전반적 세그멘테이션을 결합하여 의사결정의 일관성을 향상시키고 노이즈가 많은 예측을 줄인다.
• 이 방법은 WSI 분류 작업에 적용되며, 표준 평가 지표를 사용하여 Camelyon16 및 Camelyon17 데이터셋에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 패치 기반 분류에 전반적인 공간적 맥락을 통합하면 전체 슬라이드 영상에서 종양/정상 분류 정확도가 향상되는가?
• RQ2 제한된 GPU 메모리 조건에서 분류 및 세그멘테이션 모델을 통합한 엔드 투 엔드 훈련을 어떻게 달성할 수 있는가?
• RQ3 제안된 방법은 기존의 표준 패치 기반 분류기보다 예측 히트맵에서 잘못된 '종양 지점'을 줄이는가?
• RQ4 이 모델은 소규모 또는 희박한 종양 영역을 포함한 다양한 WSI 데이터셋에 일반화 가능한가?
• RQ5 기준 데이터셋에서 최신의 패치 중심 분류 모델과 비교해 볼 때, 제안된 방법의 성능은 어떠한가?

주요 결과

• 제안된 방법은 Camelyon16 데이터셋에서 98.14%의 정확도와 99.24%의 PR-AUC를 달성하여, 분류기 전용 기준선(96.23% 정확도, 96.39% PR-AUC)보다 유의미하게 뛰어났다.
• Camelyon17 데이터셋에서 환자 수준의 캬프라 스코어는 76.4를 기록했으며, 기준선 분류기 전용 방법의 71.9보다 높았다.
• 제안된 모델이 생성한 예측 히트맵은 패치 중심 방법보다 고립된 '종양 지점'이 적어 병리학자가 검토하기에 더 유용했다.
• 모델은 종양 영역이 극히 소규모이거나 흐릿한 경우에도 WSI 내에서 소규모 종양 영역을 성공적으로 식별했다.
• 메모리 효율적인 훈련 전략 덕분에 최소한의 GPU 메모리 오버헤드로 엔드 투 엔드 학습이 가능해져 대규모 WSI 분석이 실현 가능해졌다.