[논문 리뷰] Deep Learning Enhanced Extended Depth-of-Field for Thick Blood-Film Malaria High-Throughput Microscopy

Petru Manescu, Lydia Neary‐Zajiczek외 11명|arXiv (Cornell University)|2019. 06. 18.

Digital Imaging for Blood Diseases참고 문헌 12인용 수 5

한 줄 요약

이 논문은 두꺼운 혈액 슬라이드 현미경 촬영에서 z-stacks를 기반으로 고속으로 고품질의 확장 심도 초점(EDoF) 영상을 생성하기 위해 컨volution 신경망을 사용하는 딥러닝 방법인 EDoF-CNN을 제안한다. 기존의 다중 척도 분해 기법에 비해 속도와 해상도를 크게 향상시킨다. Plasmodium falciparum 말라리아 샘플을 대상으로 평가한 결과, 자동 진단 시스템에서 기생충 탐지 정확도가 향상되어 자원이 제한된 환경에서도 확장 가능하고 고처리량 디지털 병리학이 가능해진다.

ABSTRACT

Fast accurate diagnosis of malaria is still a global health challenge for which automated digital-pathology approaches could provide scalable solutions amenable to be deployed in low-to-middle income countries. Here we address the problem of Extended Depth-of-Field (EDoF) in thick blood film microscopy for rapid automated malaria diagnosis. High magnification oil-objectives (100x) with large numerical aperture are usually preferred to resolve the fine structural details that help separate true parasites from distractors. However, such objectives have a very limited depth-of-field requiring the acquisition of a series of images at different focal planes per field of view (FOV). Current EDoF techniques based on multi-scale decompositions are time consuming and therefore not suited for high-throughput analysis of specimens. To overcome this challenge, we developed a new deep learning method based on Convolutional Neural Networks (EDoF-CNN) that is able to rapidly perform the extended depth-of-field while also enhancing the spatial resolution of the resulting fused image. We evaluated our approach using simulated low-resolution z-stacks from Giemsa-stained thick blood smears from patients presenting with Plasmodium falciparum malaria. The EDoF-CNN allows speed-up of our digital-pathology acquisition platform and significantly improves the quality of the EDoF compared to the traditional multi-scaled approaches when applied to lower resolution stacks corresponding to acquisitions with fewer focal planes, large camera pixel binning or lower magnification objectives (larger FOV). We use the parasite detection accuracy of a deep learning model on the EDoFs as a concrete, task-specific measure of performance of this approach.

연구 동기 및 목표

• 두꺼운 혈액 슬라이드 말라리아 현미경 촬영에서 고배율(100x) 오일 목적으로 인한 심도 초점 한계 문제를 해결하기 위해.
• 고처리량 디지털 병리학에서 EDoF 재구성에 사용되는 전통적 다중 척도 분해 기법의 시간 소모 문제를 해결하기 위해.
• 심도 초점 연장과 공간 해상도 향상을 동시에 향상시키는 딥러닝 기반 접근법을 개발하기 위해.
• 하류 기생충 탐지 모델에 EDoF 영상을 입력으로 사용하여 자동 말라리아 진단의 성능을 향상시키기 위해.

제안 방법

• 이 방법은 z-stacks의 저해상도 영상들을 융합하여 단일 고품질 EDoF 영상으로 생성하는 컨volution 신경망(EDoF-CNN)을 사용한다.
• 신경망은 Plasmodium falciparum 기생충이 있는 기마사 염색 두꺼운 혈액 슬라이드에서 유도된 시뮬레이션된 z-stacks를 기반으로 엔드 투 엔드로 훈련된다.
• EDoF-CNN는 다양한 초점 평면에서 날카롭고 초점이 맞춘 영상을 재구성하면서 입력 해상도를 초월한 공간 해상도를 향상시킨다.
• 효율성 최적화를 통해 실시간 또는 거의 실시간 처리가 가능한 고처리량 스크리닝에 적합하다.
• 모델 평가 시, 기존의 EDoF 방법과 비교하여 기생충 탐지 정확도를 작업 특화 지표로 사용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 기존의 다중 척도 분해 기법에 비해 두꺼운 혈액 슬라이드 현미경 촬영에서 EDoF 재구성의 속도와 영상 품질 측면에서 뛰어나게 되는가?
• RQ2 EDoF-CNN은 기준 방법 대비 재구성된 EDoF 영상의 공간 해상도를 어느 정도 향상시키는가?
• RQ3 EDoF-CNN을 사용할 경우 자동 말라리아 진단 시스템에서 하류 기생충 탐지 정확도는 어떻게 영향을 받는가?
• RQ4 EDoF-CNN은 적은 수의 초점 평면, 더 큰 픽셀 번짐 또는 낮은 배율 목적으로부터 온 저해상도 z-stacks를 효과적으로 처리할 수 있는가?

주요 결과

• EDoF-CNN는 기존의 다중 척도 분해 기법에 비해 EDoF 재구성 속도를 크게 향상시켜 더 빠른 고처리량 영상 촬영을 가능하게 한다.
• 이 방법은 특히 저해상도 입력 스택에서 날카움과 해상도가 향상된 고품질 EDoF 영상을 생성한다.
• 하류 딥러닝 모델을 사용한 기생충 탐지 정확도는 EDoF-CNN로 생성된 영상 사용 시 기존의 EDoF 방법 대비 뚜렷한 향상이 이루어진다.
• 성능 향상은 초점 평면 수가 적거나 픽셀 번짐이 크거나 배율 목적이 낮은 도전적인 영상 조건에서 가장 두드러진다.