[논문 리뷰] A State-of-the-art Survey of Artificial Neural Networks for Whole-slide Image Analysis:from Popular Convolutional Neural Networks to Potential Visual Transformers

Xintong Li, Hu, Weiming외 6명|arXiv (Cornell University)|2021. 04. 13.

AI in cancer detection참고 문헌 133인용 수 4

한 줄 요약

이 종합 검토는 전체 슬라이드 이미지(WSI) 분석을 위한 인공 신경망(ANN)에 대해 심층적인 검토를 제공하며, 합성곱 신경망(CNN)과 새로운 시각적 트랜스포머(VT)를 포함한다. 최신 아키텍처, 데이터셋, 평가 지표를 평가하여 전통적인 ANN에서 딥 네ural 네트워크(DNN)로의 전환을 강조하고, 조직병리학적 이미지 분류, 분할, 탐지에서 정확성과 해석 가능성 향상에 대한 미래의 가능성으로 시각적 트랜스포머를 제시한다.

ABSTRACT

To increase the objectivity and accuracy of pathologists' work, artificial neural network(ANN) methods have been generally needed in the segmentation, classification, and detection of histopathological WSI. In this paper, WSI analysis methods based on ANN are reviewed. Firstly, the development status of WSI and ANN methods is introduced. Secondly, we summarize the common ANN methods. Next, we discuss publicly available WSI datasets and evaluation metrics. These ANN architectures for WSI processing are divided into classical neural networks and deep neural networks(DNNs) and then analyzed. Finally, the application prospect of the analytical method in this field is discussed. The important potential method is Visual Transformers.

연구 동기 및 목표

• 디지털 병리학에서 전체 슬라이드 이미지(WSI) 분석에 적용된 인공 신경망(ANN) 방법에 대한 체계적 검토를 제공하기 위해.
• 기존 신경망과 딥 네ural 네트워크(DNN)를 사용한 WSI 처리의 진화와 현재 상태를 분석하기 위해.
• 분류, 분할, 탐지 작업에 사용되는 공개된 WSI 데이터셋과 표준 평가 지표를 평가하기 위해.
• 현재 WSI 분석의 한계, 즉 데이터 부족과 계산 자원 소모 문제를 식별하고 향후 연구 방향을 제안하기 위해.
• 시각적 트랜스포머(VT)가 WSI 분석에서 성능과 해석 가능성 향상에 있어 차세대 아키텍처로서의 잠재력을 탐색하기 위해.

제안 방법

• 논문은 인공 신경망을 사용한 WSI 분석 방법에 대한 체계적인 문헌 검토를 수행하며, 접근 방식을 기존 ANN과 딥 네ural 네트워크(DNN)로 분류한다.
• TCGA와 Camelyon과 같은 널리 사용되는 WSI 데이터셋을 평가하고, 분류, 분할, 탐지 작업에 대한 표준 평가 지표를 요약한다.
• 고해상도로 인해 효율적인 딥 러닝 추론을 위해 WSI를 더 작은 영역으로 나누는 패치 기반 처리 전략을 분석한다.
• WSI 수준의 예측과 객체 탐지에 적합한 완전 합성곱 네트워크(FCN), ResNet, Mask R-CNN과 같은 핵심 딥 러닝 아키텍처를 검토한다.
• 분류 성능 향상을 위해 기존 기계학습(예: 랜덤 포레스트)과 딥 학습 특징을 융합한 하이브리드 접근 방식을 논의한다.
• 시각적 트랜스포머(VT)를 CNN의 대안으로 제안하며, WSI 패치 내 장거리 상관관계를 포괄하는 자기주의 기반 메커니즘의 중요성을 강조한다.

Figure 1: The process of cutting WSI into a patch. The figure matches to Fig.1 in [ 68 ] .

실험 결과

연구 질문

• RQ1 인공 신경망은 디지털 병리학에서 전체 슬라이드 이미지(WSI) 분석에 어떻게 응용되어 왔는가?
• RQ2 WSI 분류, 분할, 객체 탐지에 가장 효과적인 딥 러닝 아키텍처는 무엇이며, 기존 방법과 비교해 어떻게 다른가?
• RQ3 현재 연구에서 주로 사용되는 공개된 WSI 데이터셋과 평가 지표는 무엇이며, 이들이 모델 성능에 어떤 영향을 미치는가?
• RQ4 데이터 가용성, 계산 비용, 해석 가능성 측면에서 현재 WSI 분석 방법의 한계는 무엇인가?
• RQ5 시각적 트랜스포머(VT)는 WSI 분석 작업에서 얼마나 CNN을 능가할 수 있으며, 향후 발전 잠재력은 어떠한가?

주요 결과

• 특히 CNN 기반 모델을 사용한 딥 네ural 네트워크(DNN)의 적용은 기존 기계학습 방법에 비해 WSI 분류 및 탐지 정확도를 크게 향상시켰다.
• 완전 합성곱 네트워크(FCN)와 랜덤 포레스트(RF)를 조합한 패치 기반 접근 방식이 폐암 WSI 분류에서 97.3%의 정확도를 달성했다.
• 위암 분류를 위한 맞춤형 CNN 아키텍처는 총 정확도 69.90%와 괴사 탐지 정확도 81.44%를 기록했으며, 기존 특징과 RF, AlexNet보다 뛰어난 성능을 보였다.
• GLCM에서 유도된 18개의 강도 특징과 16개의 질감 특징을 사용한 서포트 벡터 머신(SVM) 기반 방법은 대장암 WSI 분류에서 평균 F-스코어 89.51%를 달성했다.
• 다중 스케일 슈퍼픽셀 분류 방법은 비정상 WSI의 80.00%와 DCIS 병변의 83.00%를 탐지하여 조기 암 탐지의 효과성을 입증했다.
• 장거리 공간적 상관관계를 모델링할 수 있는 능력 덕분에 시각적 트랜스포머(VT)는 CNN의 국소 수용 영역의 한계를 극복할 수 있는 매우 유망한 미래 방향으로 확인되었다.

Figure 2: The structure of ANN technology in the ML system.