[논문 리뷰] A Deep Learning Bidirectional Temporal Tracking Algorithm for Automated Blood Cell Counting from Non-invasive Capillaroscopy Videos

Luojie Huang, Gregory N. McKay외 1명|arXiv (Cornell University)|2020. 11. 26.

Spectroscopy Techniques in Biomedical and Chemical Research참고 문헌 35인용 수 5

한 줄 요약

이 논문은 비침습적 모세혈관 영상에서 정확하고 실시간으로 혈액세포를 세는 데 성공하기 위해 SORT와 CenterTrack를 결합한 딥러닝 이방향 시간 추적 알고리즘인 CycleTrack를 제안한다. 이 알고리즘은 이동 벡터를 사용해 시간에 따라 전진 및 역방향으로 세포를 추적함으로써 96.58%의 세포 수 계산 정확도를 달성하며, 독립적인 추적기보다 뛰어난 성능을 보이며 낮은 계산 비용을 유지하면서 생리학적으로 일관된 박동성 혈류 패턴을 포착한다.

ABSTRACT

Oblique back-illumination capillaroscopy has recently been introduced as a method for high-quality, non-invasive blood cell imaging in human capillaries. To make this technique practical for clinical blood cell counting, solutions for automatic processing of acquired videos are needed. Here, we take the first step towards this goal, by introducing a deep learning multi-cell tracking model, named CycleTrack, which achieves accurate blood cell counting from capillaroscopic videos. CycleTrack combines two simple online tracking models, SORT and CenterTrack, and is tailored to features of capillary blood cell flow. Blood cells are tracked by displacement vectors in two opposing temporal directions (forward- and backward-tracking) between consecutive frames. This approach yields accurate tracking despite rapidly moving and deforming blood cells. The proposed model outperforms other baseline trackers, achieving 65.57% Multiple Object Tracking Accuracy and 73.95% ID F1 score on test videos. Compared to manual blood cell counting, CycleTrack achieves 96.58 $\pm$ 2.43% cell counting accuracy among 8 test videos with 1000 frames each compared to 93.45% and 77.02% accuracy for independent CenterTrack and SORT almost without additional time expense. It takes 800s to track and count approximately 8000 blood cells from 9,600 frames captured in a typical one-minute video. Moreover, the blood cell velocity measured by CycleTrack demonstrates a consistent, pulsatile pattern within the physiological range of heart rate. Lastly, we discuss future improvements for the CycleTrack framework, which would enable clinical translation of the oblique back-illumination microscope towards a real-time and non-invasive point-of-care blood cell counting and analyzing technology.

연구 동기 및 목표

• 비침습적 모세혈관 영상에서 혈액세포를 자동으로 실시간으로 세는 시스템을 개발하여 현장 진단을 지원한다.
• 딥러닝을 활용해 모세혈관 영상 시퀀스에서 빠르게 움직이고 변형되는 혈액세포를 추적하는 과제를 해결한다.
• 이방향 추적기보다 이방향 시간 흐름을 활용해 추적 정확도와 강인성을 향상시킨다.
• 기울기 배경 조명 모세혈관 영상의 임상적 활용 가능성을 높여 실용적이고 비침습적인 혈액 분석 도구로 구현한다.

제안 방법

• CycleTrack는 SORT와 CenterTrack 두 가지 온라인 추적 모델을 통합해 일원화된 이방향 추적 프레임워크로 구성한다.
• 이동 벡터를 사용해 연속 프레임 간에 전진 및 역방향 추적을 수행하여 양방향 시간 방향의 세포 운동을 추정한다.
• 양방향에서의 추적 결과를 융합함으로써 빠르게 움직이고 변형되는 세포에서의 일致성과 드리프트를 향상시킨다.
• 이중 단계 추론 파이프라인을 사용한다: 각 프레임에서 혈액세포를 검출한 후 운동 사전 지식을 활용해 시간적 연관을 수행한다.
• 모델은 일반적인 1분 기록을 시뮬레이션하기 위해 프레임 수가 1000개인 모세혈관 영상에서 훈련 및 평가된다.
• 표준 평가 지표인 다중 객체 추적 정확도 및 ID F1 스코어를 사용해 추적 성능를 평가한다.

실험 결과

연구 질문

• RQ1 이방향 시간 추적 접근 방식이 모세혈관 영상에서 빠르게 움직이고 변형되는 혈액세포의 추적 정확도를 향상시킬 수 있는가?
• RQ2 이방향 프레임워크에서 SORT와 CenterTrack를 융합한 방법이 단일 방향 추적과 비교해 세포 수 계산 정확도에서 어떻게 다른가?
• RQ3 임상 수준의 모세혈관 영상에서 고정밀 추적 정확도를 달성하면서도 실시간 성능를 유지하는가?
• RQ4 CycleTrack에서 측정한 혈액세포 속도는 심장 박동 수에 해당하는 생리학적으로 일관된 박동 패턴을 반영하는가?

주요 결과

• 테스트 영상에서 CycleTrack는 65.57%의 다중 객체 추적 정확도와 73.95%의 ID F1 스코어를 기록했으며, 기준 추적기보다 뛰어난 성능를 보였다.
• 8개의 테스트 영상에서 총 96.58 ± 2.43%의 세포 수 계산 정확도를 달성했으며, 독립적인 CenterTrack(93.45%)와 SORT(77.02%)보다 유의미하게 높았다.
• 9,600 프레임에서 약 8,000개의 혈액세포를 추적하고 수치화하는 데 800초가 소요되어 낮은 계산 오버헤드를 확인했다.
• 측정된 혈액세포 속도는 인간 심장 박동 수의 생리학적 범위 내에서 일관된 박동 패턴을 보였으며, 방법의 생물학적 타당성을 입증했다.
• 이방향 설계가 높은 세포 밀도와 변형이 있는 어려운 조건에서도 추적 드리프트를 효과적으로 완화하고 강인성을 향상시켰다.