[论文解读] Analysis of the performance of U-Net neural networks for the segmentation of living cells

André O. Françani|arXiv (Cornell University)|Oct 4, 2022

Cell Image Analysis Techniques被引用 5

一句话总结

本文提出了一种优化的U-Net架构，用于在时间序列显微镜图像中实现活细胞的自动分割，通过超参数调优和模型压缩技术，实现准实时处理。该方法可实现快速、精确的细胞追踪与荧光强度定量，4分钟内处理6.20 GB数据，分割精度高。

ABSTRACT

The automated analysis of microscopy images is a challenge in the context of single-cell tracking and quantification. This work has as goals the study of the performance of deep learning for segmenting microscopy images and the improvement of the previously available pipeline for tracking single cells. Deep learning techniques, mainly convolutional neural networks, have been applied to cell segmentation problems and have shown high accuracy and fast performance. To perform the image segmentation, an analysis of hyperparameters was done in order to implement a convolutional neural network with U-Net architecture. Furthermore, different models were built in order to optimize the size of the network and the number of learnable parameters. The trained network is then used in the pipeline that localizes the traps in a microfluidic device, performs the image segmentation on trap images, and evaluates the fluorescence intensity and the area of single cells over time. The tracking of the cells during an experiment is performed by image processing algorithms, such as centroid estimation and watershed. Finally, with all improvements in the neural network to segment single cells and in the pipeline, quasi-real-time image analysis was enabled, where 6.20GB of data was processed in 4 minutes.

研究动机与目标

• 通过深度学习改进时间序列显微镜图像中活细胞的自动分割。
• 优化U-Net的超参数和模型大小，以实现更快的推理速度而不牺牲准确性。
• 将训练好的U-Net集成到完整流程中，实现陷阱定位、细胞分割和荧光定量。
• 实现在微流控装置中单细胞追踪的准实时图像分析。
• 通过基于深度学习的分割方法提升现有细胞追踪流程的性能。

提出的方法

• 在活细胞的显微镜图像上训练了U-Net卷积神经网络，用于实例分割。
• 开展了超参数分析，以优化网络深度、宽度和初始学习率，提升性能。
• 应用了模型压缩技术，减少可学习参数数量，同时保持分割精度。
• 将训练好的U-Net集成到一个流程中，用于定位微流控陷阱并处理图像以实现细胞检测。
• 使用图像处理算法（如质心估计和分水岭算法）在时间点之间追踪细胞。
• 利用分割后的细胞区域定量分析细胞面积和荧光强度随时间的变化。

实验结果

研究问题

• RQ1 超参数调优如何影响U-Net在从显微镜图像中分割活细胞时的性能？
• RQ2 在实时处理中，模型大小与分割精度之间的最优权衡是什么？
• RQ3 轻量级U-Net模型是否能在保持高精度的同时，实现对大规模显微镜数据集的准实时分析？
• RQ4 将U-Net集成到完整流程中，如何提升微流控装置中细胞追踪与定量的性能？
• RQ5 该优化流程对大规模时间序列显微镜数据的处理吞吐量是多少？

主要发现

• 优化后的U-Net模型在活细胞显微镜图像上实现了高分割精度，支持可靠的细胞实例检测。
• 通过超参数调优和模型压缩，网络规模减小，同时性能得以保持。
• 完整流程实现了准实时分析，仅用4分钟就处理了6.20 GB数据。
• 将U-Net集成到追踪流程中，显著提升了细胞定位和荧光强度测量的准确性。
• 该方法支持细胞面积和荧光强度随时间的自动化、高通量定量分析。
• 该方法在微流控环境中展现出强大的可扩展性和实时单细胞分析潜力。