[论文解读] Sperm Detection and Tracking in Phase-Contrast Microscopy Image Sequences using Deep Learning and Modified CSR-DCF

Mohammad Reza Mohammadi, Mohammad Rahimzadeh+1 more|arXiv (Cornell University)|Feb 11, 2020

Sperm and Testicular Function参考文献 41被引用 15

一句话总结

该论文提出了一种基于深度学习的方法，通过使用多帧输入的RetinaNet实现更精准的运动感知检测，并结合改进的CSR-DCF跟踪器，实现对相位对比显微镜视频序列中精子的检测与跟踪。该方法在检测任务中达到99.1%的平均精确率，在跟踪任务中达到96.61%的F1分数，显著提升了高密度、遮挡及复杂运动场景下的准确性。

ABSTRACT

Nowadays, computer-aided sperm analysis (CASA) systems have made a big leap in extracting the characteristics of spermatozoa for studies or measuring human fertility. The first step in sperm characteristics analysis is sperm detection in the frames of the video sample. In this article, we used RetinaNet, a deep fully convolutional neural network as the object detector. Sperms are small objects with few attributes, that makes the detection more difficult in high-density samples and especially when there are other particles in semen, which could be like sperm heads. One of the main attributes of sperms is their movement, but this attribute cannot be extracted when only one frame would be fed to the network. To improve the performance of the sperm detection network, we concatenated some consecutive frames to use as the input of the network. With this method, the motility attribute has also been extracted, and then with the help of the deep convolutional network, we have achieved high accuracy in sperm detection. The second step is tracking the sperms, for extracting the motility parameters that are essential for indicating fertility and other studies on sperms. In the tracking phase, we modify the CSR-DCF algorithm. This method also has shown excellent results in sperm tracking even in high-density sperm samples, occlusions, sperm colliding, and when sperms exit from a frame and re-enter in the next frames. The average precision of the detection phase is 99.1%, and the F1 score of the tracking method evaluation is 96.61%. These results can be a great help in studies investigating sperm behavior and analyzing fertility possibility.

研究动机与目标

• 通过利用连续帧中的运动线索，提升在高密度、噪声较大的相位对比显微镜视频中精子检测的准确性。
• 通过一种鲁棒的基于检测的跟踪器，解决多精子跟踪中的遮挡、碰撞和轨迹断裂等挑战。
• 开发一种在检测阶段整合运动特征的方法，以增强对精子与相似颗粒的区分能力。
• 构建一个全自动的计算机辅助精子分析（CASA）系统，通过精确提取运动参数支持生育力评估。

提出的方法

• 使用RetinaNet作为目标检测器，这是一种深度全卷积神经网络，将连续的视频帧拼接作为输入，以实现运动特征的学习。
• 检测器的输入是一个张量，由当前帧与其前一帧和后一帧拼接而成，使网络能够学习时空运动模式。
• 提出一种改进的CSR-DCF算法作为多目标跟踪器，将单目标CSR-DCF框架扩展为可同时处理多个精子。
• 该跟踪器包含缺失轨迹合并与修正机制，用于恢复因遮挡或进出画面导致的误检、漏检和轨迹丢失。
• 系统采用先检测后跟踪的流程，并通过后处理优化轨迹分配，纠正错误检测。
• 该方法在来自Royan研究所的9个验证视频数据集上进行评估，使用标准运动参数如VAP、STR和LIN进行分析。

实验结果

研究问题

• RQ1 将连续视频帧拼接是否能通过使网络学习运动特征，从而提升精子检测的准确性？
• RQ2 在遮挡和碰撞等挑战性条件下，改进的CSR-DCF跟踪器在多运动精子跟踪中的表现如何？
• RQ3 与现有CASA方法相比，所提出的检测与跟踪流程在F1分数和精确率方面提升了多少？
• RQ4 系统能否基于提取的运动参数可靠地区分运动与非运动精子？
• RQ5 在精子运动和帧切换过程中，该跟踪器在恢复丢失或错误分配轨迹方面的有效性如何？

主要发现

• 所提出的检测方法在验证数据集上实现了99.1%的平均精确率，表明其在各种条件下对精子的识别具有极高准确性。
• 改进的CSR-DCF跟踪器实现了96.61%的F1分数，显著优于CSR-DCF（90.06%）和HDBN（76.79%）的跟踪性能。
• 系统有效处理了精子碰撞、遮挡和轨迹丢失问题，具有较高的轨迹恢复率和极少的误报。
• 准确提取了运动参数如VAP（样本1中均值为134.35 μm/s）和STR（样本1中为87.48%），支持生育力评估。
• 93.45%的轨迹被正确分类，召回率（97.32%）和精确率（95.92%）均较高，表明在真实场景中具有强鲁棒性。
• 该方法在多样化样本中表现出良好的泛化能力，共检测到417个精子，且在全部九个验证视频中表现一致。