[논문 리뷰] PECNet: A Deep Multi-Label Segmentation Network for Eosinophilic Esophagitis Biopsy Diagnostics

Nati Daniel, Ariel Larey외 10명|arXiv (Cornell University)|2021. 03. 02.

Eosinophilic Esophagitis인용 수 5

한 줄 요약

PECNet는 H&E 색소된 식도 생검 슬라이드에서 호酸구성세포를 자동으로 감지하고 정량화하는 딥 러닝 다중라벨 세분화 네트워크이다. 이는 호산구성식도염(EoE)의 병변 활성도를 분류하는 데 98.5%의 정확도를 달성하였다. 23명의 환자로부터 1억 개 이상의 레이블이 부여된 픽셀로 훈련되었고, 419명의 환자로부터 온 1,089장의 전체 슬라이드 이미지로 검증되었으며, 평균 교차율(mIoU)은 0.93이며, 그대로 유지된 세포의 정량화에 대해 평균 절대 오차는 0.611개의 호산구였다.

ABSTRACT

Background. Eosinophilic esophagitis (EoE) is an allergic inflammatory condition of the esophagus associated with elevated numbers of eosinophils. Disease diagnosis and monitoring requires determining the concentration of eosinophils in esophageal biopsies, a time-consuming, tedious and somewhat subjective task currently performed by pathologists. Methods. Herein, we aimed to use machine learning to identify, quantitate and diagnose EoE. We labeled more than 100M pixels of 4345 images obtained by scanning whole slides of H&E-stained sections of esophageal biopsies derived from 23 EoE patients. We used this dataset to train a multi-label segmentation deep network. To validate the network, we examined a replication cohort of 1089 whole slide images from 419 patients derived from multiple institutions. Findings. PECNet segmented both intact and not-intact eosinophils with a mean intersection over union (mIoU) of 0.93. This segmentation was able to quantitate intact eosinophils with a mean absolute error of 0.611 eosinophils and classify EoE disease activity with an accuracy of 98.5%. Using whole slide images from the validation cohort, PECNet achieved an accuracy of 94.8%, sensitivity of 94.3%, and specificity of 95.14% in reporting EoE disease activity. Interpretation. We have developed a deep learning multi-label semantic segmentation network that successfully addresses two of the main challenges in EoE diagnostics and digital pathology, the need to detect several types of small features simultaneously and the ability to analyze whole slides efficiently. Our results pave the way for an automated diagnosis of EoE and can be utilized for other conditions with similar challenges.

연구 동기 및 목표

• EoE 생검 진단에서 수작업으로 호산구를 세는 방식의 주관성과 시간 소모 문제를 해결하기 위해.
• 디지털 병리학에서 전체 슬라이드 이미지 분석을 위한 확장 가능한 자동화 솔루션을 개발하기 위해.
• intact 및 not-intact 호산구를 포함한 여러 작은 세포 구조를 동시에 감지하고 정량화하기 위해.
• 다중 기관, 다양한 환자 군집을 통해 모델의 유효성을 검증하여 임상 적용의 강건성을 확보하기 위해.
• 진단의 변동성을 줄이고 호산구성식도염 평가의 재현 가능성을 향상시키기 위해.

제안 방법

• 4,345장의 전체 슬라이드 이미지에서 23명의 EoE 환자로부터 훈련되었으며, 1억 개 이상의 픽셀가량이 수작업으로 레이블링되었다.
• 네트워크는 정상적인 호산구, 손상된 호산구, 배경 조직을 구분하는 다중라벨 세분화를 활용한다.
• 다양한 슬라이드 제작 방법에 걸쳐 일반화 능력을 향상시키기 위해 데이터 증강 및 전이 학습 기법을 적용하였다.
• 다양한 기관에서 온 1,089장의 전체 슬라이드 이미지로 구성된 복제 코hort에서 모델를 검증하였다.
• 추론는 전체 슬라이드 수준에서 수행되어, 조각 기반 재구성 없이도 효율적이고 종합적인 분석이 가능했다.
• 모델 성능 평가에는 세분화에 대한 mIoU와 병변 분류에 대한 정확도, 민감도, 특이도를 사용하였다.

실험 결과

연구 질문

• RQ1 H&E 색소된 식도 생검 슬라이드에서 딥 러닝 모델이 정상 및 손상된 호산구를 정확하게 세분화할 수 있는가?
• RQ2 자동 호산구 정량화가 EoE 진단에서 관찰자 간 변동성을 얼마나 줄일 수 있는가?
• RQ3 모델은 다중 기관, 다중 스캐너로 구성된 전체 슬라이드 이미지 데이터셋에 대해 얼마나 잘 일반화되는가?
• RQ4 특수 염색 없이도 단순 H&E 색소 슬라이드만으로도 EoE 병변 활성도에 대해 높은 진단 정확도를 달성할 수 있는가?
• RQ5 모델은 정상과 분해된 호산구 사이의 미세한 형태학적 차이를 감지하는 데 얼마나 잘 성능을 내는가?

주요 결과

• PECNet는 정상 및 손상된 호산구의 세분화에 대해 평균 교차율(mIoU)이 0.93를 달성하였다.
• 모델는 슬라이드당 정상 호산구를 평균 절대 오차 0.611개로 정량화하여 높은 정밀도를 보였다.
• 검증 코hort에서 PECNet는 EoE 병변 활성도 분류에 대해 정확도 94.8%, 민감도 94.3%, 특이도 95.14%를 기록하였다.
• 모델는 EoE 병변 활성도 분류에 대해 98.5%의 정확도를 달성하여 강력한 진단 성능을 입증하였다.
• 네트워크는 다양한 조직 제작 방법에 걸쳐도 높은 세분화 정밀도를 유지하면서 전체 슬라이드 이미지를 대규모로 처리하였다.
• 결과는 다중라벨 세분화가 EoE 진단의 디지털 병리학에서 핵심 과제를 효과적으로 해결할 수 있음을 시사한다.