[论文解读] Extracting quantitative biological information from brightfield cell images using deep learning

Saga Helgadóttir, Benjamin Midtvedt+6 more|arXiv (Cornell University)|Dec 23, 2020

Cell Image Analysis Techniques参考文献 48被引用 4

一句话总结

本文提出一种基于条件生成对抗网络（cGAN）的深度学习方法，可从人胚胎干细胞来源的脂肪细胞的明场显微图像生成类荧光染色图像。该方法实现了对脂滴、细胞质和细胞核的精确、非侵入性定量分析，相较于化学染色，具有更低毒性、更低成本且更具可重复性，同时在细胞计数和形态学分析方面具有相当的准确性。

ABSTRACT

Quantitative analysis of cell structures is essential for biomedical and pharmaceutical research. The standard imaging approach relies on fluorescence microscopy, where cell structures of interest are labeled by chemical staining techniques. However, these techniques are often invasive and sometimes even toxic to the cells, in addition to being time-consuming, labor-intensive, and expensive. Here, we introduce an alternative deep-learning-powered approach based on the analysis of brightfield images by a conditional generative adversarial neural network (cGAN). We show that this approach can extract information from the brightfield images to generate virtually-stained images, which can be used in subsequent downstream quantitative analyses of cell structures. Specifically, we train a cGAN to virtually stain lipid droplets, cytoplasm, and nuclei using brightfield images of human stem-cell-derived fat cells (adipocytes), which are of particular interest for nanomedicine and vaccine development. Subsequently, we use these virtually-stained images to extract quantitative measures about these cell structures. Generating virtually-stained fluorescence images is less invasive, less expensive, and more reproducible than standard chemical staining; furthermore, it frees up the fluorescence microscopy channels for other analytical probes, thus increasing the amount of information that can be extracted from each cell.

研究动机与目标

• 为解决传统荧光染色在活细胞成像中的局限性，包括毒性、光漂白和繁琐的实验操作。
• 开发一种非侵入性、低成本的替代方法，利用明场图像作为输入，实现对细胞结构的定量分析。
• 通过消除对化学染料的需求并保留荧光通道以供其他探针使用，实现纵向研究和高通量研究。
• 证明生成具有生物学相关性的虚拟染色图像的可行性，以支持准确的下游定量分析。
• 提供一个开源软件包，供社区在多种生物医学应用中使用和定制。

提出的方法

• 训练了一个条件生成对抗网络（cGAN），以学习从明场图像到合成荧光染色的细胞内结构图像的映射关系。
• 以人胚胎干细胞来源的脂肪细胞的明场图像作为输入，并使用对应的荧光图像作为监督训练的真值。
• 利用明场图像中的空间上下文和对比度模式，高保真度重建脂滴、细胞质和细胞核等结构。
• 采用基于U-Net的生成器和基于PatchGAN的判别器，确保生成图像在纹理和结构上的一致性。
• 将训练好的cGAN应用于生成虚拟染色图像，以支持下游定量分析，无需实际染色。
• 通过标准图像分析流程对生成图像进行验证，提取包括细胞核计数、面积和荧光强度在内的各项指标。

实验结果

研究问题

• RQ1 cGAN模型能否准确地从明场图像生成脂肪细胞中关键细胞内结构的类荧光图像？
• RQ2 在定量形态学指标方面，虚拟染色图像与化学荧光染色图像的性能相比如何？
• RQ3 该虚拟染色方法在纵向研究或高内涵筛选应用中，对下游分析的生物学相关性保持程度如何？
• RQ4 该方法是否可推广至具有不同光学特性的其他细胞类型和细胞内结构？
• RQ5 该方法是否在保持可重复性和准确性的同时，减轻了实验负担？

主要发现

• cGAN生成的虚拟染色图像实现了对细胞核计数和平均面积的精确量化，结果与化学荧光染色图像相当。
• 该方法在存在Hoechst 33342染料在活细胞成像中可能引发的光毒性风险时，仍能实现可靠细胞核的分割与计数。
• 在明场图像中已清晰可见的脂滴，被网络高保真度重建，实现了无需化学染色即可对脂滴大小和含量进行量化。
• 尽管细胞质和细胞核在明场图像中对比度较低，网络仍能有效重建，可能得益于脂滴分布提供的空间上下文信息。
• 由于明场输入中缺乏染色质纹理细节，虚拟染色过程未能捕捉到这些精细结构，但对大多数形态学分析而言并非关键。
• 该方法具有鲁棒性，实验间可重复性高，且无需优化染色方案，适用于跨实验室比较和高通量筛选。