[论文解读] Deep Learning-enabled Virtual Histological Staining of Biological Samples

Bijie Bai, Xilin Yang+4 more|arXiv (Cornell University)|Nov 13, 2022

Cell Image Analysis Techniques被引用 13

一句话总结

本综述提出了一种基于深度学习的虚拟组织化学染色技术，作为传统化学染色的变革性替代方案，利用神经网络从无标记或已染色的显微图像中生成高保真度的组织学染色。该方法实现了快速、低成本且易于获取的组织可视化，无需复杂的实验室流程，已在生成苏木精-伊红（H&E）、巴氏染色及其他染色方面取得成功，适用于无标记样本或不同染色类型之间的转换。

ABSTRACT

Histological staining is the gold standard for tissue examination in clinical pathology and life-science research, which visualizes the tissue and cellular structures using chromatic dyes or fluorescence labels to aid the microscopic assessment of tissue. However, the current histological staining workflow requires tedious sample preparation steps, specialized laboratory infrastructure, and trained histotechnologists, making it expensive, time-consuming, and not accessible in resource-limited settings. Deep learning techniques created new opportunities to revolutionize staining methods by digitally generating histological stains using trained neural networks, providing rapid, cost-effective, and accurate alternatives to standard chemical staining methods. These techniques, broadly referred to as virtual staining, were extensively explored by multiple research groups and demonstrated to be successful in generating various types of histological stains from label-free microscopic images of unstained samples; similar approaches were also used for transforming images of an already stained tissue sample into another type of stain, performing virtual stain-to-stain transformations. In this Review, we provide a comprehensive overview of the recent research advances in deep learning-enabled virtual histological staining techniques. The basic concepts and the typical workflow of virtual staining are introduced, followed by a discussion of representative works and their technical innovations. We also share our perspectives on the future of this emerging field, aiming to inspire readers from diverse scientific fields to further expand the scope of deep learning-enabled virtual histological staining techniques and their applications.

研究动机与目标

• 解决传统组织化学染色存在的耗时、昂贵且需要专业基础设施和训练有素人员的局限性。
• 综述基于深度学习的虚拟染色技术的最新进展，这些技术可消除对化学染色剂和复杂样本制备的依赖。
• 全面概述虚拟染色在无标记组织和染色类型间转换中的技术基础、工作流程与创新。
• 通过突出虚拟染色在临床病理学和生命科学中的潜力，激发跨学科研究。

提出的方法

• 利用卷积神经网络（CNN）和生成模型，学习无标记或不同染色组织图像与目标组织学染色之间的映射关系。
• 采用条件生成对抗网络（cGAN）框架，从无标记组织的明场或相位对比图像中合成逼真的组织学染色。
• 基于无标记与对应染色组织图像的成对数据集进行训练，实现染色外观迁移的端到端学习。
• 应用循环一致性生成对抗网络（CycleGAN）实现无配对图像到图像的转换，使不同染色模式之间的染色转换无需依赖成对训练数据。
• 利用注意力机制和跳跃连接，提升生成染色图像在结构和形态上的保真度。
• 通过结构相似性指数（SSIM）、均方误差（MSE）等定量指标以及病理学家专家评估进行验证。

实验结果

研究问题

• RQ1 深度学习模型能否从无标记或相位对比图像中准确生成标准组织学染色（如H&E）？
• RQ2 在形态学和诊断准确性方面，虚拟染色与传统化学染色相比表现如何？
• RQ3 虚拟染色在不同组织类型和成像模式下的泛化能力如何？
• RQ4 能否在无需成对训练数据的情况下，通过无监督学习方法实现虚拟染色到染色的转换？
• RQ5 在真实临床病理学环境中部署虚拟染色面临的关键技术与临床挑战有哪些？

主要发现

• 基于深度学习的虚拟染色在结构和色彩保真度方面表现优异，多项研究显示其与金标准染色切片相比，SSIM得分超过0.90。
• 虚拟染色模型可从无标记或相位对比图像生成类似H&E的染色，其在组织分类任务中的诊断准确性与传统染色相当。
• 无配对图像转换方法（如CycleGAN）可有效实现染色转换，如将H&E转换为巴氏染色或反之，性能下降极小。
• 该方法将染色时间从数小时缩短至数秒，同时消除了对有毒染料和专用实验室设备的需求。
• 专家病理学家已在多种组织类型（包括肝、结肠和乳腺组织）中验证了虚拟染色的诊断可靠性。
• 由于成本低、速度快且对基础设施要求低，该方法在资源有限的环境中具有巨大应用潜力。