[论文解读] Fast 3D cell tracking with wide-field fluorescence microscopy through deep learning

Kan Liu, Hui Qiao+4 more|arXiv (Cornell University)|May 14, 2018

Advanced Vision and Imaging参考文献 1被引用 3

一句话总结

本文提出一种基于两级级联卷积神经网络（CNN）的深度学习框架，无需硬件改造即可实现从单张2D宽场荧光显微图像中快速、准确地进行3D细胞追踪。通过将病态的3D定位问题转化为多标签分类任务，该方法在斑马鱼活体实验中实现了100 fps的鲁棒3D追踪，其精度和抗噪能力优于传统核函数拟合方法。

ABSTRACT

Tracking cells in 3D at high speed continues to attract extensive attention for many biomedical applications, such as monitoring immune cell migration and observing tumor metastasis in flowing blood vessels. Here, we propose a deep convolutional neural networks (CNNs) based method to retrieve the 3D locations of the fluorophores from a single 2D image captured by a conventional wide-field fluorescence microscope without any hardware modification. The reported method converts the challenging 3D localization from an ill-posed model-based fitting problem, especially with dense samples and low signal-to-noise ratio, to a solvable multi-label classification problem through two cascaded CNNs, where deep learning technique has a great advantage over other algorithms. Compared with traditional kernel-fitting methods, the proposed method achieves more accurate and robust localization of multiple objects across a much larger axial range, which is validated by both simulation and experimental results on 3D distributed fluorescent beads. Moreover, in vivo 3D tracking of multiple blood cells in zebrafish at 100 fps further verifies the feasibility of our framework.

研究动机与目标

• 在不进行硬件改造的前提下，利用标准宽场荧光显微镜实现高速、高精度的活体生物样本3D细胞追踪。
• 克服传统基于模型的3D定位方法的局限性，后者在低信噪比（SNR）和高目标密度条件下易出现病态拟合、噪声放大及性能下降问题。
• 利用深度学习将复杂的3D定位问题转化为可解的多标签分类任务，提升鲁棒性与精度。
• 在模拟与实验设置中验证该方法，包括在斑马鱼中实现100 fps的活体追踪。
• 展示该框架在不同光学条件下的泛化能力，并可扩展至其他成像模式及PSF工程方法。

提出的方法

• 采用两级级联CNN架构：首先，侧向检测CNN在2D图像的滑动窗口内识别潜在目标位置。
• 其次，轴向定位CNN基于2D图像中的离焦模式估计每个检测到的目标的3D深度（z位置）。
• 该方法将3D定位视为多标签分类问题，而非基于模型的拟合问题，从而降低对噪声和串扰的敏感性。
• 通过实验获取的单个荧光微珠的z-堆栈数据合成训练数据，以准确建模真实世界中的噪声、像差及不同轴向平面的SNR变化。
• 网络在大规模模拟与真实离焦模式数据集上进行端到端监督学习训练，实现对多样化成像条件的泛化能力。
• 该框架设计为与任意宽场显微镜兼容，并可扩展至PSF工程系统，以提升轴向范围与分辨率。

实验结果

研究问题

• RQ1 深度学习能否有效将宽场荧光显微中的病态3D定位问题转化为稳定、端到端的分类任务？
• RQ2 在低SNR和高目标密度条件下，所提出的基于CNN的方法与传统核函数拟合及最大似然估计（MLE）相比，在定位精度和鲁棒性方面表现如何？
• RQ3 该方法在不进行硬件改造的情况下，能否实现高速3D追踪（如100 fps）的活体应用？
• RQ4 该方法在不同光学条件（如像差、折射率失配、噪声统计差异）下是否具备良好的泛化能力？
• RQ5 使用实验获取的z-堆栈数据进行训练数据合成，相比完全依赖模拟PSF，能否显著提升性能？

主要发现

• 与传统核函数拟合和MLE方法相比，该方法在低SNR和高目标密度条件下均表现出显著更低的定位误差（以RMSE衡量）和更高的Jaccard指数，对象识别性能更优。
• 该方法在斑马鱼中实现了100 fps的3D追踪，证明了其在高速活体监测动态细胞过程（如血细胞迁移）中的可行性。
• 使用实验获取的z-堆栈数据进行训练数据合成，相比完全依赖模拟PSF，性能显著提升，尤其在不同深度的轴向定位精度方面优势明显。
• 由于更准确地建模了轴向平面间SNR的变化，该方法实现了比传统MLE方法更大的有效轴向定位范围。
• 该框架对像差和噪声具有强鲁棒性，在挑战性成像条件下优于基于模型的方法，后者常因条件恶劣而失效。
• 该方法具有良好的泛化能力，可扩展至其他PSF工程技术和成像模式（如明场和相位对比），适用于更广泛的生物学与临床应用。