[논문 리뷰] Fast 3D cell tracking with wide-field fluorescence microscopy through deep learning

Kan Liu, Hui Qiao외 4명|arXiv (Cornell University)|2018. 05. 14.

Advanced Vision and Imaging참고 문헌 1인용 수 3

한 줄 요약

이 논문은 하드웨어 수정 없이 단일 2D 광시야경 형광 현미경 영상에서 빠르고 정확한 3D 세포 추적을 가능하게 하는 딥러닝 프레임워크를 제안한다. 비정상적인 3D 위치 결정 문제를 다중 레이블 분류 과제로 변환함으로써, 이 방법은 제스퍼피쉬 내에서 100 fps로 강건한 3D 추적을 달성하였으며, 전통적인 커널 피팅 방법에 비해 정확도와 노이즈 내성에서 뛰어나다.

ABSTRACT

Tracking cells in 3D at high speed continues to attract extensive attention for many biomedical applications, such as monitoring immune cell migration and observing tumor metastasis in flowing blood vessels. Here, we propose a deep convolutional neural networks (CNNs) based method to retrieve the 3D locations of the fluorophores from a single 2D image captured by a conventional wide-field fluorescence microscope without any hardware modification. The reported method converts the challenging 3D localization from an ill-posed model-based fitting problem, especially with dense samples and low signal-to-noise ratio, to a solvable multi-label classification problem through two cascaded CNNs, where deep learning technique has a great advantage over other algorithms. Compared with traditional kernel-fitting methods, the proposed method achieves more accurate and robust localization of multiple objects across a much larger axial range, which is validated by both simulation and experimental results on 3D distributed fluorescent beads. Moreover, in vivo 3D tracking of multiple blood cells in zebrafish at 100 fps further verifies the feasibility of our framework.

연구 동기 및 목표

• 하드웨어 수정 없이 표준 광시야경 형광 현미경을 사용하여 생체 샘플에서 고속이고 정확한 3D 세포 추적을 가능하게 하기.
• 비정상적인 피팅, 노이즈 증폭, 낮은 신호 대 잡음비(SNR) 및 높은 물체 밀도 조건에서 성능이 떨어지는 전통적인 모델 기반 3D 위치 결정 방법의 한계를 극복하기.
• 딥러닝을 활용하여 복잡한 3D 위치 결정 문제를 해결 가능한 다중 레이블 분류 과제로 변환함으로써 정확도와 강건성을 향상시키기.
• 시뮬레이션 및 실험적 환경에서의 검증을 통해 제스퍼피쉬 혈액 세포의 100 fps 생체 내 추적 성능을 입증하기.
• 이 프레임워크가 다양한 광학 조건에 일반화 가능하며, 다른 영상 모달리티와 PSF 엔지니어링 기법으로의 확장 가능성도 입증하기.

제안 방법

• 두 단계로 구성된 연속형 CNN 아키텍처를 사용한다: 첫 번째로, 횡방향 탐지 CNN이 2D 영상의 슬라이딩 윈도우 내에서 잠재적 객체 위치를 식별한다.
• 두 번째로, 축방향 위치 결정 CNN이 2D 영상의 부정도 패atters를 기반으로 각 탐지된 객체의 3D 깊이(z-위치)를 추정한다.
• 이 방법은 3D 위치 결정 문제를 모델 기반 피팅 과제가 아니라 다중 레이블 분류 과제로 간주함으로써, 노이즈 및 교차 간섭에 대한 민감도를 감소시킨다.
• 훈련 데이터는 단일 형광 비드의 실험적 z-stack을 사용하여 실세계의 노이즈, 비수율, 축 방향에서의 SNR 변동을 정확히 모델링한다.
• 대규모 시뮬레이션 및 실제 부정도 패턴 데이터셋을 사용하여 지도 학습으로 엔드 투 엔드로 훈련함으로써 다양한 영상 조건에서의 일반화 능력을 확보한다.
• 이 프레임워크는 어떤 광시야경 현미경과도 호환되며, 축 방향 범위와 해상도를 향상시키기 위한 PSF 엔지니어링 시스템으로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 딥러닝이 광시야경 형광 현미경에서 비정상적인 3D 위치 결정 문제를 안정적이고 엔드 투 엔드 분류 과제로 효과적으로 전환할 수 있는가?
• RQ2 제안된 CNN 기반 방법이 낮은 SNR 및 높은 물체 밀도 조건에서 전통적인 커널 피팅 및 최대우도 추정(MLE) 방법에 비해 위치 결정 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ3 이 방법은 하드웨어 수정 없이 얼마나 높은 속도의 3D 추적(예: 100 fps)을 생체 내에서 달성할 수 있는가?
• RQ4 이 방법은 광학 비수율, 굴절률 불일치, 다양한 노이즈 통계 등 다양한 광학 조건에 일반화 가능한가?
• RQ5 훈련 데이터 합성에 실험적으로 확보한 z-stack을 사용할 경우 순수 시뮬레이션된 PSF에 비해 성능 향상이 얼마나 이루어지는가?

주요 결과

• 이 방법은 낮은 SNR 및 높은 물체 밀도 조건에서 전통적인 커널 피팅 및 MLE 방법에 비해 훨씬 낮은 위치 결정 오차(RMSE 기준)와 더 높은 재현율 지수(Jaccard index)를 달성한다.
• 이 방법은 제스퍼피쉬에서 100 fps로 3D 추적을 가능하게 하여, 혈액 세포 이동과 같은 동적 세포 과정의 고속 생체 내 모니터링 가능성을 입증한다.
• 훈련 데이터 합성에 실험적 z-stack을 사용할 경우 순수 시뮬레이션된 PSF에 비해 성능이 현저히 향상되며, 특히 다양한 깊이에서의 축 방향 위치 결정 정확도 향상에 기여한다.
• 이 방법은 축 방향 평면에서의 SNR 변동을 더 잘 모델링함으로써, 기존 MLE 기반 방법보다 더 넓은 효과적 축 방향 위치 결정 범위를 확보한다.
• 이 프레임워크는 광학 비수율 및 노이즈에 강건하며, 도전적인 영상 조건에서 실패하는 모델 기반 방법보다 뛰어난 성능을 보인다.
• 이 방법은 일반화 가능하며, 다양한 PSF 엔지니어링 기법과 영상 모달리티(예: 밝기 영역 및 위상 대비 영상)로의 확장이 가능하여 더 넓은 생물학적 및 임상적 적용 가능성을 지닌다.