[논문 리뷰] Autofocusing technologies for whole slide imaging and automated microscopy

Zichao Bian, Chengfei Guo외 7명|arXiv (Cornell University)|2020. 06. 15.

Image Processing Techniques and Applications참고 문헌 129인용 수 9

한 줄 요약

이 논문은 전체 슬라이드 영상 촬영 및 자동 현미경 기술의 오토포커스 기술을 검토하며, 기존의 포커스 맵 방법과 단계별로 이미지를 촬영하는 실시간 기술인 위상 검출, 간섭계 측정, 딥 러닝을 비교한다. 고속 디지털 병리학 시스템에서의 처리 속도, 정확도 및 적응 가능성에 중점을 두어 초점 평면 결정 방법을 평가한다.

ABSTRACT

Whole slide imaging (WSI) has moved digital pathology closer to diagnostic practice in recent years. Due to the inherent tissue topography variability, accurate autofocusing remains a critical challenge for WSI and automated microscopy systems. The traditional focus map surveying method is limited in its ability to acquire a high degree of focus points while still maintaining high throughput. Real-time approaches decouple image acquisition from focusing, thus allowing for rapid scanning while maintaining continuous accurate focus. This work reviews the traditional focus map approach and discusses the choice of focus measure for focal plane determination. It also discusses various real-time autofocusing approaches including reflective-based triangulation, confocal pinhole detection, low-coherence interferometry, tilted sensor approach, independent dual sensor scanning, beam splitter array, phase detection, dual-LED illumination, and deep-learning approaches. The technical concepts, merits, and limitations of these methods are explained and compared to those of a traditional WSI system. This review may provide new insights for the development of high-throughput automated microscopy imaging systems that can be made broadly available and utilizable without loss of capacity.

연구 동기 및 목표

• 조직 표면 형상의 변동성으로 인한 정확한 오토포커스 구현의 과제를 해결하기 위해.
• 기존의 포커스 맵 접근 방식과 그 처리 속도 및 초점 포인트 밀도 측면에서의 한계를 평가하기 위해.
• 이미지 촬영과 초점 조절을 분리함으로써 속도와 정확도를 향상시킬 수 있는 실시간 오토포커스 기술을 탐색하기 위해.
• 간섭계 측정, 위상 검출, 딥 러닝을 포함한 신규 오토포커스 기술의 기술 원리, 장점 및 한계를 비교하기 위해.
• 성능의 상충 요소 없이 고속, 접근 용이한 자동 현미경 시스템 개발을 위한 통찰을 제공하기 위해.

제안 방법

• 슬라이드 전반에 걸쳐 이산적인 점들에서 초점을 확보하는 기존의 포커스 맵 조사 방법을 검토하며, 이는 느리고 해상도 측면에서 제한됨을 분석한다.
• 최적의 초점 평면을 결정하기 위한 분산, 라플라시안, 기울기 기반 측정 방법 등을 분석한다.
• 실시간 오토포커스 기술인 반사 기반 삼각측량, 공형 핀홀 검출, 저코herence 간섭계 측정, 기울인 센서 접근 방식을 검토한다.
• 병렬 초점 추정과 이미지 촬영을 가능하게 하는 이중 센서 및 빔 스플리터 어레이 시스템을 논의한다.
• 깊은 수준의 깊이 감지 및 대trast 향상을 위한 위상 검출 및 이중 LED 조명 기술을 설명한다.
• 수작업으로 설계된 초점 측정 방법 없이도 이미지 특징에서 초점을 예측할 수 있도록 합성곱 신경망을 활용한 딥 러닝 기반 오토포커스를 검토한다.

실험 결과

연구 질문

• RQ1 다양한 조직 표면 형상 조건 하에서 기존의 포커스 맵 방법은 처리 속도와 정확도 측면에서 어떻게 성능을 발휘하는가?
• RQ2 실시간 오토포커스 기술 간의 기술적 상충 요소는 속도, 정밀도, 하드웨어 복잡성 측면에서 어떻게 다르게 나타나는가?
• RQ3 초점 측정 방법은 전체 슬라이드 영상 촬영에서 오토포커스의 신뢰성과 강건성에 어떤 영향을 미치는가?
• RQ4 기존의 초점 측정 방법에 비해 딥 러닝은 오토포커스 성능을 얼마나 향상시킬 수 있는가?
• RQ5 현재의 오토포커스 기술은 고속 자동 현미경 시스템에서 실질적인 제약 요소로 작용하는가?

주요 결과

• 기존의 포커스 맵 방법은 두꺼운 또는 불균일한 조직 섹션의 경우 처리 속도가 낮고 초점 포인트 밀도가 부족하여 제한됨을 보여준다.
• 저코herence 간섭계 측정 및 위상 검출을 포함한 실시간 오토포커스 기술은 마이크론 이하의 정밀도로 연속적이고 고속의 초점을 가능하게 한다.
• 이중 센서 및 빔 스플리터 어레이 시스템은 병렬 촬영 및 초점 추정을 가능하게 하여 초점 조절의 효율성을 향상시킨다.
• 딥 러닝 기반 오토포커스는 수작업으로 설계된 초점 측정 방법에 대한 의존도를 줄이고 다양한 조직 유형에 걸쳐 강건성을 향상시킬 잠재력을 보여준다.
• 고급 오토포커스 기술의 WSI 시스템 통합은 영상 품질과 처리 속도를 향상시켜 임상적 보편적 적용을 지원한다.
• 다양한 기술적 진전에도 불구하고, 특히 자원이 제한된 환경에서는 속도, 정확도 및 하드웨어 비용 간의 균형을 맞추는 데 여전히 과제가 남아 있다.