[논문 리뷰] SlideNet: Fast and Accurate Slide Quality Assessment Based on Deep Neural Networks

Teng Zhang, Johanna Carvajal외 6명|arXiv (Cornell University)|2018. 03. 20.

AI in cancer detection참고 문헌 22인용 수 3

한 줄 요약

SlideNet는 경량 MobileNet 기반의 밀도 분류 모델을 사용하여 고해상도 도금된 조직병리학적 슬라이드에서 세분화된 슬라이드 품질 평가를 위한 빠르고 정확한 딥러닝 프레임워크를 제안한다. 이는 염색 품질, 정보 밀도, 손상 수준에 대한 히트맵과 텍스트 요약을 생성하며, GPU에서 170 FPS로 86.8%의 정확도를 달성하여 기존의 SVM 기반 방법을 능가한다.

ABSTRACT

This work tackles the automatic fine-grained slide quality assessment problem for digitized direct smears test using the Gram staining protocol. Automatic quality assessment can provide useful information for the pathologists and the whole digital pathology workflow. For instance, if the system found a slide to have a low staining quality, it could send a request to the automatic slide preparation system to remake the slide. If the system detects severe damage in the slides, it could notify the experts that manual microscope reading may be required. In order to address the quality assessment problem, we propose a deep neural network based framework to automatically assess the slide quality in a semantic way. Specifically, the first step of our framework is to perform dense fine-grained region classification on the whole slide and calculate the region distribution histogram. Next, our framework will generate assessments of the slide quality from various perspectives: staining quality, information density, damage level and which regions are more valuable for subsequent high-magnification analysis. To make the information more accessible, we present our results in the form of a heat map and text summaries. Additionally, in order to stimulate research in this direction, we propose a novel dataset for slide quality assessment. Experiments show that the proposed framework outperforms recent related works.

연구 동기 및 목표

• 디지티제이션된 도금된 혈액도말에서 슬라이드 품질을 자동으로 실시간으로 평가하는 시스템을 개발하기 위해.
• 기존 CAD 시스템에서 세분화되고 의미적인 슬라이드 품질 평가의 부족을 해결하기 위해.
• 염색 문제, 손상, 고배율 분석을 위한 최적 영역을 자동으로 탐지함으로써 전문가 수작업 검토에 대한 의존도를 줄이기 위해.
• 슬라이드 제작 및 스캔 시스템에 실질적인 피드백을 제공함으로써 디지털 병리학 워크플로우의 완전 자동화를 지원하기 위해.
• 세분화된 슬라이드 품질 평가를 위한 새로운 공개 데이터셋을 구축하고 배포하기 위해.

제안 방법

• 전체 웨일슬라이드 이미지 전역에서 세분화된 영역 분류를 위한 밀도 분류 모델로 경량 딥 네트워크(MobileNet)를 백본으로 사용한다.
• 프레임워크는 다중 카테고리(예: 박테리아, 세포, 배경)에 대한 영역 분포 히스토그램을 생성하기 위해 픽셀 단위의 분류를 수행한다.
• 이 히스토그램은 정보 밀도 맵을 계산하고 영역 중요도를 시각화하는 히트맵을 생성하는 데 사용된다.
• 영역 비율을 경험적으로 선정된 임계값을 사용해 정성적 레이블(예: 양호/보통/낮음)로 매핑함으로써 텍스트 요약을 자동 생성한다.
• 시스템은 속도와 낮은 메모리 사용량을 최적화하여 표준 하드웨어에서 실시간 추론을 가능하게 한다.
• 기준 측정을 위해 6개의 웨일슬라이드 이미지로 구성된 새로운 세분화된 데이터셋을 구축하고 공개하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 세분화된 병리학적 슬라이드 영역에 대해 고정확도, 실시간 밀도 분류를 달성할 수 있는가?
• RQ2 경량 DNN(MobileNet 등)의 성능이 전통적인 수작업 특징 방법(HOG, colorLBP 등)에 비해 슬라이드 영역 분류에서 어떻게 비교되는가?
• RQ3 자동화된 슬라이드 품질 평가(염색, 손상, 정보 밀도)가 전문 병리학자 판단과 얼마나 관련이 있는가?
• RQ4 자동화된 결정보조를 지원하는 의미적이고 다각적인 슬라이드 품질 평가 프레임워크를 구축할 수 있는가?
• RQ5 세분화된 슬라이드 품질 평가를 위한 공개 가능한, 세분화된 데이터셋을 구축하고 배포하는 것이 가능한가?

주요 결과

• SlideNet는 MobileNet-224 백본을 사용하여 세분화된 영역 분류에서 86.8%의 정확도를 달성했으며, HOG+SVM(45.3%)와 colorLBP+SVM(51.2%)에 비해 뚜렷이 뛰어난 성능을 보였다.
• 시스템은 GPU에서 170 FPS, CPU에서 10 FPS로 실행되어 임상적 구현에 적합한 실시간 성능을 입증했다.
• 주관적 평가에서 SlideNet 예측과 전문 병리학자 간의 일치도는 6개의 테스트 슬라이드에서 평균 77.8%를 기록했다.
• 프레임워크는 염색, 손상, 정보 밀도와 같은 핵심 슬라이드 품질 속성을 반영한 해석 가능한 히트맵과 텍스트 요약을 성공적으로 생성했다.
• 세분화된 애너테이션을 포함한 6개의 웨일슬라이드 이미지로 구성된 제안된 데이터셋은 향후 연구를 지원하기 위해 공개되어 있다.
• SlideNet는 낮은 품질의 슬라이드를 재제작 요청하거나 고배율 스캔을 위한 고가치 영역을 우선순위로 지정함으로써 슬라이드 제작 시스템에 자동 피드백을 제공할 수 있다.