[论文解读] A Deep Learning Bidirectional Temporal Tracking Algorithm for Automated Blood Cell Counting from Non-invasive Capillaroscopy Videos

Luojie Huang, Gregory N. McKay+1 more|arXiv (Cornell University)|Nov 26, 2020

Spectroscopy Techniques in Biomedical and Chemical Research参考文献 35被引用 5

一句话总结

本文提出CycleTrack，一种结合SORT与CenterTrack的深度学习双向时间追踪算法，可实现从非侵入性毛细血管镜视频中准确、实时地进行血细胞计数。通过利用位移向量在时间上正向与反向追踪细胞，该方法实现了96.58%的计数准确率——优于独立追踪器——同时保持较低的计算成本，并捕捉到与生理节律一致的搏动性血流模式。

ABSTRACT

Oblique back-illumination capillaroscopy has recently been introduced as a method for high-quality, non-invasive blood cell imaging in human capillaries. To make this technique practical for clinical blood cell counting, solutions for automatic processing of acquired videos are needed. Here, we take the first step towards this goal, by introducing a deep learning multi-cell tracking model, named CycleTrack, which achieves accurate blood cell counting from capillaroscopic videos. CycleTrack combines two simple online tracking models, SORT and CenterTrack, and is tailored to features of capillary blood cell flow. Blood cells are tracked by displacement vectors in two opposing temporal directions (forward- and backward-tracking) between consecutive frames. This approach yields accurate tracking despite rapidly moving and deforming blood cells. The proposed model outperforms other baseline trackers, achieving 65.57% Multiple Object Tracking Accuracy and 73.95% ID F1 score on test videos. Compared to manual blood cell counting, CycleTrack achieves 96.58 $\pm$ 2.43% cell counting accuracy among 8 test videos with 1000 frames each compared to 93.45% and 77.02% accuracy for independent CenterTrack and SORT almost without additional time expense. It takes 800s to track and count approximately 8000 blood cells from 9,600 frames captured in a typical one-minute video. Moreover, the blood cell velocity measured by CycleTrack demonstrates a consistent, pulsatile pattern within the physiological range of heart rate. Lastly, we discuss future improvements for the CycleTrack framework, which would enable clinical translation of the oblique back-illumination microscope towards a real-time and non-invasive point-of-care blood cell counting and analyzing technology.

研究动机与目标

• 开发一种用于非侵入性毛细血管镜视频的自动化、实时血细胞计数系统，以支持床旁诊断。
• 利用深度学习解决在毛细血管视频序列中追踪快速移动和形变血细胞的挑战。
• 通过利用双向时间流，提升追踪准确率与鲁棒性，超越现有单向追踪器。
• 推动斜射背光毛细血管镜技术的临床转化，使其成为一种实用的非侵入性血液分析工具。

提出的方法

• CycleTrack将两个在线追踪模型——SORT与CenterTrack——整合到统一的双向追踪框架中。
• 通过位移向量在连续帧之间执行正向与反向追踪，以估计细胞在两个时间方向上的运动。
• 该算法融合双向追踪结果，提升一致性并减少快速移动与形变细胞中的漂移。
• 采用两阶段推理流程：先在每帧中检测血细胞，再利用运动先验进行时间关联。
• 模型在每段视频包含1000帧的毛细血管镜视频上进行训练与评估，模拟典型的一分钟记录。
• 使用标准指标（包括多目标追踪准确率与ID F1分数）评估追踪性能。

实验结果

研究问题

• RQ1 双向时间追踪方法是否能提升在毛细血管镜视频中追踪快速移动与形变血细胞的准确率？
• RQ2 在双向框架中融合SORT与CenterTrack相较于单向追踪，在血细胞计数准确率方面表现如何？
• RQ3 所提出方法在临床级毛细血管镜数据上是否能在保持高追踪准确率的同时实现实时性能？
• RQ4 CycleTrack测得的血细胞速度是否能反映与心率一致的生理搏动模式？

主要发现

• 在测试视频中，CycleTrack实现了65.57%的多目标追踪准确率与73.95%的ID F1分数，优于基线追踪器。
• 在8段测试视频中，该方法实现了96.58 ± 2.43%的血细胞计数准确率，显著优于独立的CenterTrack（93.45%）与SORT（77.02%）。
• 从9,600帧中追踪并计数约8,000个血细胞仅耗时800秒，表明计算开销极低。
• 测得的血细胞速度在生理范围内心率节律下表现出一致的搏动性模式，验证了该方法的生物学相关性。
• 双向设计有效缓解了追踪漂移，并在高细胞密度与形变等复杂条件下提升了鲁棒性。