[论文解读] Digital staining in optical microscopy using deep learning -- a review

Lucas Kreiß, Shaowei Jiang+14 more|arXiv (Cornell University)|Mar 14, 2023

Image Processing Techniques and Applications参考文献 150被引用 4

一句话总结

本综述总结了基于深度学习的光学显微镜数字染色技术的最新进展，其中神经网络将无标记光学对比度（如相位或明场）转换为合成组织学染色（如苏木精-伊红或免疫荧光）。其主要贡献在于对网络架构、损失函数及最佳实践的全面分析，强调了生成模型（如 GAN 和 U-Net 变体）在实现高保真虚拟染色方面的核心作用，具有实现更快、非破坏性且支持三维成像的病理学工作流程的潜力。

ABSTRACT

Until recently, conventional biochemical staining had the undisputed status as well-established benchmark for most biomedical problems related to clinical diagnostics, fundamental research and biotechnology. Despite this role as gold-standard, staining protocols face several challenges, such as a need for extensive, manual processing of samples, substantial time delays, altered tissue homeostasis, limited choice of contrast agents for a given sample, 2D imaging instead of 3D tomography and many more. Label-free optical technologies, on the other hand, do not rely on exogenous and artificial markers, by exploiting intrinsic optical contrast mechanisms, where the specificity is typically less obvious to the human observer. Over the past few years, digital staining has emerged as a promising concept to use modern deep learning for the translation from optical contrast to established biochemical contrast of actual stainings. In this review article, we provide an in-depth analysis of the current state-of-the-art in this field, suggest methods of good practice, identify pitfalls and challenges and postulate promising advances towards potential future implementations and applications.

研究动机与目标

• 分析基于深度学习的光学显微镜数字染色技术的当前状态。
• 识别在训练稳健虚拟染色模型过程中存在方法论上的最佳实践、常见陷阱和技术挑战。
• 评估数字染色在加速和提升生物医学成像在研究与生物技术领域应用方面的潜力。
• 探讨将数字染色应用于三维成像及体内临床应用的可行性。
• 评估当前方法在泛化能力、可解释性及临床转化方面的局限性。

提出的方法

• 利用监督深度学习方法，基于成对训练数据，将无标记光学图像（如相位对比、明场）映射为合成染色图像（如苏木精-伊红、免疫荧光）。
• 采用卷积神经网络（CNN）和生成对抗网络（GAN）作为图像到图像翻译的主要架构。
• 应用感知损失、对抗性损失和循环一致性损失等损失函数，以提升生成染色图像的真实感与结构保真度。
• 依赖大规模共注册的无标记与染色显微图像数据集，包括谷歌公司“虚拟标记”项目提供的公开数据集。
• 结合归一化技术与数据增强方法，以提升模型在多样化成像条件下的鲁棒性。
• 采用结构相似性（SSIM）、学习感知图像块相似性（LPIPS）和 Fréchet Inception Distance（FID）等指标评估模型性能，并与真实染色图像进行定性和定量比较。

Figure 1: Basic principle of Digital staining (a) Example data showing phase contrast microscopy images as input to predict fluorescence images from specific antibody staining as ground truth. Images show human motor neurons stained for nuclei (DAPI), dendrites (anti-MAP2) and axons (anti-neurofilam

实验结果

研究问题

• RQ1 不同深度学习架构（如 U-Net、GAN）在将无标记光学对比度转换为虚拟苏木精-伊红或荧光染色方面表现如何？
• RQ2 在不同显微镜平台、染色方案和组织类型之间实现泛化时，面临的关键技术挑战是什么？
• RQ3 与真实染色相比，数字染色模型在保留生物学特异性和形态学准确性方面能达到何种程度？
• RQ4 在模型可解释性、鲁棒性及在诊断病理学中临床采纳方面，主要限制因素是什么？
• RQ5 未来哪些方向和创新（如三维成像、体内应用、多模态）最有可能推动数字染色超越当前应用？

主要发现

• 基于深度学习的数字染色可实现高保真度的组织切片虚拟染色，其感知质量已接近真实苏木精-伊红或免疫荧光染色。
• 生成模型（如 GAN 和基于 U-Net 的架构）在保留细微形态学细节和组织结构方面，显著优于传统线性方法或基于特征工程的方法。
• 与基于 L2 的损失相比，感知损失和对抗性损失的使用显著提升了生成染色图像的真实感与诊断相关性。
• 尽管在科研级数据上表现强劲，模型在不同显微镜、固定方法和组织类型之间的泛化能力仍有限，凸显其作为临床应用主要瓶颈。
• 目前，数字染色在细胞培养和临床前研究中更具可行性与商业潜力，而在常规临床诊断中的应用仍受监管和数据质量障碍制约。
• 未来应用可能扩展至三维成像、类器官及体内内窥显微成像，尤其随着可解释性和鲁棒性更强的深度学习架构的发展。

Figure 2: Pairings of input and target contrast Target image contrast is plotted against the input contrast, with the number of publications for each combination as a color-coded heat map. IHC = immuno-histochemcial stain, IF = immuno-fluorescence stain, WF = wide field (white light illumination), A