[논문 리뷰] OncoPetNet: A Deep Learning based AI system for mitotic figure counting on H&E stained whole slide digital images in a large veterinary diagnostic lab setting.

Michael Fitzke, Derick Whitley외 8명|arXiv (Cornell University)|2021. 08. 17.

AI in cancer detection참고 문헌 39인용 수 5

한 줄 요약

OncoPetNet는 고속의 수의학 진단 병리학 환경에서 H&E 염색 전체 슬라이드 영상에서 미세분열도 수를 자동으로 세는 딥러닝 시스템이다. 이 시스템은 1장당 0.27분의 실시간 추론 시간을 기록하며 전문가 수준의 성능을 달성했고, 인간 전문가와 비교해 21.9%의 사례에서 종양 등급을 재조정하였다.

ABSTRACT

Background: Histopathology is an important modality for the diagnosis and management of many diseases in modern healthcare, and plays a critical role in cancer care. Pathology samples can be large and require multi-site sampling, leading to upwards of 20 slides for a single tumor, and the human-expert tasks of site selection and and quantitative assessment of mitotic figures are time consuming and subjective. Automating these tasks in the setting of a digital pathology service presents significant opportunities to improve workflow efficiency and augment human experts in practice. Approach: Multiple state-of-the-art deep learning techniques for histopathology image classification and mitotic figure detection were used in the development of OncoPetNet. Additionally, model-free approaches were used to increase speed and accuracy. The robust and scalable inference engine leverages Pytorch's performance optimizations as well as specifically developed speed up techniques in inference. Results: The proposed system, demonstrated significantly improved mitotic counting performance for 41 cancer cases across 14 cancer types compared to human expert baselines. In 21.9% of cases use of OncoPetNet led to change in tumor grading compared to human expert evaluation. In deployment, an effective 0.27 min/slide inference was achieved in a high throughput veterinary diagnostic pathology service across 2 centers processing 3,323 digital whole slide images daily. Conclusion: This work represents the first successful automated deployment of deep learning systems for real-time expert-level performance on important histopathology tasks at scale in a high volume clinical practice. The resulting impact outlines important considerations for model development, deployment, clinical decision making, and informs best practices for implementation of deep learning systems in digital histopathology practices.

연구 동기 및 목표

• H&E 염색 전체 슬라이드 영상에서 자동화된 미세분열도 수 계산을 위한 확장 가능한 딥러닝 시스템 개발
• 임상 병리학 워크플로우에서 수작업으로 미세분열도를 세는 데 소요되는 시간과 주관성 문제 해결
• 고처리량, 다중 현장 수의학 진단 실험실 환경에 시스템 구축
• AI가 종양 등급 정확도와 워크플로우 효율성에 미치는 영향 평가
• 실제 디지털 병리학 환경에서 딥러닝을 구현하기 위한 최선의 실천 방안 수립

제안 방법

• 전체 슬라이드 영상 분류 및 미세분열도 탐지에 최신 딥러닝 모델 활용
• PyTorch 성능 향상 기법과 모델 독립 최적화 기법을 융합해 추론 속도 향상
• 다중 임상 현장에서 실시간 배포에 적합한 견고하고 확장 가능한 추론 엔진 구현
• 14개 종양 유형에서 온 2개 수의학 진단 센터에서 확보한 총 3,323장의 전체 슬라이드 영상 데이터셋을 기반으로 학습
• 의사 자격을 가진 병리학자가 미세분열도를 주석 처리하고 모델 예측 결과를 검증
• 정확도 및 효율성을 향상시키기 위해 슬라이드 분류와 미세분열도 탐지 작업을 두 단계로 분리 구현

실험 결과

연구 질문

• RQ1 딥러닝 시스템은 실생활 고속 수의학 병리학 환경에서 전문가 수준의 미세분열도 수 계산 성능을 달성할 수 있는가?
• RQ2 AI 기반의 미세분열도 수 계산은 인간 전문가의 변동성과 일관성과 비교해 어떻게 다를까?
• RQ3 임상 디지털 병리학 워크플로우에 실시간으로 확장 가능한 AI를 구현하기 위해 어떤 기술적 및 운영 전략이 필요한가?
• RQ4 AI 통합이 인간 평가에 비해 임상적 결정, 예를 들어 종양 등급 조정에 얼마나 큰 영향을 미치는가?
• RQ5 정확도 외에 재현성과 일반화 능력 등을 고려할 때, 임상 병리학 환경에서 AI 시스템을 구현할 때 고려해야 할 핵심 사항은 무엇인가?

주요 결과

• OncoPetNet는 매일 3,323장의 전체 슬라이드 영상을 처리하는 고처리량 환경에서 1장당 0.27분의 추론 시간을 기록하였다.
• 14종의 종양 유형을 포함한 41개 종양 사례에서 인간 전문가 기준 대비 뚜렷한 향상된 미세분열도 수 계산 성능을 보였다.
• 21.9%의 사례에서 AI 시스템이 인간 전문가 평가와 비교해 종양 등급을 변경시켰다.
• 이 시스템은 임상 실무에서 스케일링 가능한 실시간 딥러닝 기반 전문가 수준의 미세분열도 수 계산을 성공적으로 구현한 최초의 사례이다.
• 모델 배포로 인해 워크플로우 효율성이 향상되었고, 미세분열도 수 계산의 주관성이 감소하여 임상적 결정에 중요한 영향을 미쳤다.
• 본 연구는 디지털 병리학 분야에서 모델 개발, 배포, 워크플로우 통합에 대한 귀중한 통찰을 제공한다.