[论文解读] BriFiSeg: a deep learning-based method for semantic and instance segmentation of nuclei in brightfield images

Gendarme Mathieu, Lambert Annika M.+1 more|arXiv (Cornell University)|Nov 6, 2022

Cell Image Analysis Techniques被引用 4

一句话总结

BriFiSeg 是一种深度学习框架，采用基于 U-Net 的架构与预训练编码器，可在无需免疫组织化学染色或特殊样本制备的情况下，实现对未染色亮场显微镜图像中细胞核的精确语义分割和实例分割。该方法在多种生物情境下均表现出稳健性能，包括处理过的细胞系。

ABSTRACT

Generally, microscopy image analysis in biology relies on the segmentation of individual nuclei, using a dedicated stained image, to identify individual cells. However stained nuclei have drawbacks like the need for sample preparation, and specific equipment on the microscope but most importantly, and as it is in most cases, the nuclear stain is not relevant to the biological questions of interest but is solely used for the segmentation task. In this study, we used non-stained brightfield images for nuclei segmentation with the advantage that they can be acquired on any microscope from both live or fixed samples and do not necessitate specific sample preparation. Nuclei semantic segmentation from brightfield images was obtained, on four distinct cell lines with U-Net-based architectures. We tested systematically deep pre-trained encoders to identify the best performing in combination with the different neural network architectures used. Additionally, two distinct and effective strategies were employed for instance segmentation, followed by thorough instance evaluation. We obtained effective semantic and instance segmentation of nuclei in brightfield images from standard test sets as well as from very diverse biological contexts triggered upon treatment with various small molecule inhibitor. The code used in this study was made public to allow further use by the community.

研究动机与目标

• 开发一种无需依赖细胞核染色即可对亮场显微镜图像中的细胞核进行分割的方法。
• 消除细胞核分割任务中对特殊样本制备和免疫组织化学染色的需求。
• 使用标准亮场显微镜对活细胞或固定样本实现分割。
• 评估预训练编码器与 U-Net 架构结合在细胞核分割中的性能。
• 提供一个公开可用、可泛化的解决方案，适用于多种生物情境下的细胞核分割。

提出的方法

• 采用基于 U-Net 的深度神经网络架构，对亮场图像中的细胞核进行语义分割。
• 使用预训练编码器（如 ResNet、EfficientNet）以提升特征提取能力和模型泛化性能。
• 应用两种不同的实例分割策略，实现对重叠或聚集区域中单个细胞核的有效分离。
• 系统性评估不同编码器架构，以确定与分割头的最佳组合。
• 在四种不同的细胞系上进行模型训练与验证，包括经小分子抑制剂处理的细胞系。
• 公开发布源代码，以支持社区采纳与进一步开发。

实验结果

研究问题

• RQ1 深度学习模型是否能在不依赖细胞核染色的情况下，实现对未染色亮场图像中细胞核的精确分割？
• RQ2 预训练编码器在 U-Net 基架构的亮场显微镜细胞核分割模型中，对性能有何影响？
• RQ3 在亮场图像中密集或重叠的细胞核区域，最有效的实例分割策略是什么？
• RQ4 该方法是否能在包括药物处理样本在内的多种生物条件下实现泛化？
• RQ5 与现有依赖染色的分割方法相比，BriFiSeg 在准确性和鲁棒性方面的表现如何？

主要发现

• BriFiSeg 在四种不同的细胞系中均实现了对亮场图像中细胞核的有效语义分割和实例分割。
• 该方法在标准测试集和生物多样性较高的情境下均表现出稳健性能，包括经小分子抑制剂处理的样本。
• 将预训练编码器与 U-Net 架构结合可显著提升分割性能。
• 两种不同的实例分割策略均被证明有效，能够实现对单个细胞核的精确分离。
• 该框架适用于活细胞和固定样本，无需特殊染色或样本制备。
• 代码库已公开发布，支持可重现性，并推动研究社区的广泛应用。