[논문 리뷰] An Efficient Cervical Whole Slide Image Analysis Framework Based on Multi-scale Semantic and Spatial Features using Deep Learning.

Ziquan Wei, Shenghua Cheng외 2명|arXiv (Cornell University)|2021. 06. 29.

AI in cancer detection인용 수 2

한 줄 요약

이 논문은 자궁경부암 진단을 위한 효율적이고 겹침이 없는 전체 슬라이드 이미지(WSI) 분석을 가능하게 하는 경량 딥러닝 프레임워크인 YOLCO를 제안한다. 다중 척도의 의미론적 및 공간적 특징을 인라인 연결 네트워크(InCNet)를 통해 활용함으로써, 10³–10⁴번의 반복적 특징 추출을 10¹–10²로 감소시키고 공간적 지도를 통합함으로써, 2,019장의 슬라이드로 구성된 다중 코hort WSI 데이터셋에서 최고의 전통적 방법보다 AUC 0.872, 추론 속도 2.51배 향상된 성능을 달성한다.

ABSTRACT

Digital gigapixel whole slide image (WSI) is widely used in clinical diagnosis, and automated WSI analysis is key for computer-aided diagnosis. Currently, analyzing the integrated descriptor of probabilities or feature maps from massive local patches encoded by ResNet classifier is the main manner for WSI-level prediction. Feature representations of the sparse and tiny lesion cells in cervical slides, however, are still challengeable for the under-promoted upstream encoders, while the unused spatial representations of cervical cells are the available features to supply the semantics analysis. As well as patches sampling with overlap and repetitive processing incur the inefficiency and the unpredictable side effect. This study designs a novel inline connection network (InCNet) by enriching the multi-scale connectivity to build the lightweight model named You Only Look Cytopathology Once (YOLCO) with the additional supervision of spatial information. The proposed model allows the input size enlarged to megapixel that can stitch the WSI without any overlap by the average repeats decreased from $10^3\sim10^4$ to $10^1\sim10^2$ for collecting features and predictions at two scales. Based on Transformer for classifying the integrated multi-scale multi-task features, the experimental results appear $0.872$ AUC score better and $2.51 imes$ faster than the best conventional method in WSI classification on multicohort datasets of 2,019 slides from four scanning devices.

연구 동기 및 목표

• 전체 슬라이드 이미지(WSI) 분석에서 겹치는 패치 샘플링과 반복 처리로 인한 비효율성과 불안정성을 해결하기 위해.
• 사용되지 않는 공간 정보를 활용하여 자궁경부 WSI에서 희박하고 작은 병변 세포의 표현을 향상시키기 위해.
• 겹침이 없는 패치를 통해 대용량 입력에 대한 추론을 가능하게 하는 경량 모델을 설계하여 계산의 중복을 줄이기 위해.
• 다중 작업 학습 프레임워크 내에서 추가적인 공간적 지도를 통해 다중 척도 특징의 의미론적 이해를 향상시키기 위해.
• 다양한 스캐닝 장치와 다중 코hort 데이터셋에서 WSI 수준의 분류 작업에서 높은 정확도와 빠른 속도를 달성하기 위해.

제안 방법

• 다중 척도 특징 간 연결성을 향상시켜 파rameter 수를 줄이며 특징 표현을 향상시키는 인라인 연결 네트워크(InCNet)를 제안한다.
• 겹침이 없는 방식으로 메가픽셀 크기의 입력 패치를 처리하는 새로운 You Only Look Cytopathology Once(YOLCO) 프레임워크를 도입하여, 반복 추론 횟수를 10³–10⁴에서 10¹–10²으로 감소시킨다.
• 자궁세포의 기하학적 및 위치적 특징을 유지하고 활용하기 위해 공간적 지도를 통합함으로써, 희박한 병변의 의미론적 이해를 향상시킨다.
• 의미론적 및 공간적 브랜치에서 유래한 다중 척도, 다중 작업 특징을 통합하기 위해 트랜스포머 기반 분류기를 활용하여 강력한 WSI 수준의 예측을 수행한다.
• 다양한 해상도에서 특징과 예측을 수집하는 이중 척도 특징 추출 전략을 적용하여, 작은 병변 및 미세한 병리적 변화의 탐지를 향상시킨다.
• 분류 및 공간적 특징 학습 목표를 함께 최적화하여 엔드 투 엔드로 모델을 훈련시켜, 저대비 및 희귀 병변 세포에서의 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 겹침이 없는 패치 샘플링을 제거함으로써, 경량이고 엔드 투 엔드 딥러닝 프레임워크가 WSI 분석에서 계산의 중복을 줄일 수 있는가?
• RQ2 공간 정보를 통합함으로써, 희박하고 작은 자궁경부 병변 세포의 탐지 성능는 어떻게 향상되는가?
• RQ3 다중 척도 특징 통합이 다양한 스캐닝 장치에서 유래한 다수의 WSI 데이터셋에서 분류 성능를 얼마나 향상시키는가?
• RQ4 트랜스포머 기반 분류기가 다중 척도, 다중 작업 특징을 효과적으로 통합하여 WSI 수준의 진단 정확도를 향상시킬 수 있는가?
• RQ5 겹침이 없는 방식으로 메가픽셀 크기의 WSI 패치를 처리할 경우, 추론 속도와 진단 성능 사이의 상충 관계는 어떠한가?

주요 결과

• YOLCO는 겹치지 않는 메가픽셀 크기의 입력 처리를 가능하게 하여, 반복적 특징 추출 횟수를 10³–10⁴에서 10¹–10²으로 감소시켰다.
• 네 대의 다른 스캐닝 장치에서 유래한 2,019장의 자궁경부 WSI 슬라이드로 구성된 다중 코hort 데이터셋에서 AUC 점수 0.872를 달성했다.
• WSI 분류에서 최고의 전통적 방법 대비 YOLCO는 2.51배 빠른 속도를 기록하여 추론 효율성을 크게 향상시켰다.
• 공간적 지도의 통합은 희귀하고 작은 병변 세포의 특징 표현을 향상시켜, 표준 특징 맵을 넘어서 의미론적 이해를 향상시켰다.
• 트랜스포머 기반 융합을 통한 다중 척도, 다중 작업 학습 프레임워크는 다양한 영상 조건에서도 더 강력하고 일반화 능력이 뛰어난 WSI 수준의 예측을 가능하게 했다.
• 제안된 프레임워크는 다양한 스캐닝 장치에서 높은 성능을 유지하여, 실제 임상 환경에서 강력한 일반화 능력을 보였다.