[论文解读] High Accuracy Tumor Diagnoses and Benchmarking of Hematoxylin and Eosin Stained Prostate Core Biopsy Images Generated by Explainable Deep Neural Networks

Aman Rana, Alarice Lowe+8 more|arXiv (Cornell University)|Aug 2, 2019

AI in cancer detection参考文献 22被引用 8

一句话总结

本文提出了一种基于条件生成对抗网络（cGANs）的可解释深度学习框架，可计算性地将前列腺核心活检的原生非染色RGB全切片图像（RWSI）转化为高保真度的苏木精和伊红（H&E）样图像，结构相似性指数（SSIM）为0.902，相关系数（CC）为0.962，峰值信噪比（PSNR）为22.821 dB。在单盲研究中，由五位认证病理学家验证，计算生成的H&E图像与金标准H&E染色切片之间的肿瘤标注像素重叠率超过95%，表明该方法在快速、非破坏性肿瘤诊断方面具有高准确性和临床可行性。

ABSTRACT

Histopathological diagnoses of tumors in tissue biopsy after Hematoxylin and Eosin (H&E) staining is the gold standard for oncology care. H&E staining is slow and uses dyes, reagents and precious tissue samples that cannot be reused. Thousands of native nonstained RGB Whole Slide Image (RWSI) patches of prostate core tissue biopsies were registered with their H&E stained versions. Conditional Generative Adversarial Neural Networks (cGANs) that automate conversion of native nonstained RWSI to computational H&E stained images were then trained. High similarities between computational and H&E dye stained images with Structural Similarity Index (SSIM) 0.902, Pearsons Correlation Coefficient (CC) 0.962 and Peak Signal to Noise Ratio (PSNR) 22.821 dB were calculated. A second cGAN performed accurate computational destaining of H&E dye stained images back to their native nonstained form with SSIM 0.9, CC 0.963 and PSNR 25.646 dB. A single-blind study computed more than 95% pixel-by-pixel overlap between prostate tumor annotations on computationally stained images, provided by five-board certified MD pathologists, with those on H&E dye stained counterparts. We report the first visualization and explanation of neural network kernel activation maps during H&E staining and destaining of RGB images by cGANs. High similarities between kernel activation maps of computational and H&E stained images (Mean-Squared Errors <0.0005) provide additional mathematical and mechanistic validation of the staining system. Our neural network framework thus is automated, explainable and performs high precision H&E staining and destaining of low cost native RGB images, and is computer vision and physician authenticated for rapid and accurate tumor diagnoses.

研究动机与目标

• 开发一种自动化、可解释且高精度的原生非染色前列腺核心活检图像计算H&E染色方法，以减少对染料染色的依赖。
• 通过使用原生自荧光RWSI进行计算染色，替代不可逆的染料染色，实现组织样本的非破坏性、可重复使用。
• 利用定量指标（SSIM、CC、PSNR）和病理学家验证的肿瘤标注，对生成的H&E样图像质量进行基准测试。
• 通过可视化和比较计算H&E染色图像与真实H&E染色图像的神经网络卷积核激活图，提供机制性可解释性。
• 建立临床可部署的虚拟染色流程，支持早期癌症诊断和生物标志物检测。

提出的方法

• 训练条件生成对抗网络（cGANs），以学习原生非染色RWSI与对应H&E染色图像之间的分层非线性映射关系。
• 利用大规模去石蜡化前列腺核心活检RWSI图像块及其对应H&E染色图像对数据集，进行端到端训练。
• 应用结构相似性指数（SSIM）、皮尔逊相关系数（CC）和峰值信噪比（PSNR）定量评估计算生成图像与真实H&E染色图像之间的保真度。
• 使用第二个cGAN执行计算去染色，从H&E染色图像中重建原生非染色图像，SSIM为0.90，CC为0.963，PSNR为25.646 dB。
• 通过包含五位认证病理学家的单盲研究，比较计算生成H&E图像与真实H&E染色切片上的肿瘤标注，验证其临床相关性。
• 生成并分析cGANs的卷积核激活图，以提供对染色和去染色过程内部机制的解释，计算生成与真实H&E图像的激活图均方误差小于0.0005。

实验结果

研究问题

• RQ1 cGAN能否从原生非染色RWSI中生成具有高视觉和统计保真度的H&E样图像？
• RQ2 专家病理学家评估下，计算染色图像上的肿瘤标注与金标准H&E染色切片上的标注在多大程度上一致？
• RQ3 神经网络内部表示（卷积核激活图）能否用于解释和验证模型的行为？
• RQ4 在定量图像质量指标方面，计算染色的性能与传统H&E染色相比如何？
• RQ5 计算染色与去染色是否可在保持诊断准确性的同时，用于保存组织以供后续生物标志物检测？

主要发现

• 计算H&E染色模型实现了结构相似性指数（SSIM）0.902，皮尔逊相关系数（CC）0.962，峰值信噪比（PSNR）22.821 dB，表明图像保真度高。
• 计算去染色模型实现了SSIM 0.900，CC 0.963，PSNR 25.646 dB，证明了对原生非染色图像的高质量重建。
• 在单盲研究中，五位认证病理学家评估显示，计算染色图像与真实H&E染色切片之间的肿瘤标注像素重叠率超过95%。
• 计算生成与真实H&E图像的卷积核激活图之间的均方误差小于0.0005，为模型内部推理提供了数学与机制性验证。
• 病理学家在计算与真实H&E图像上标注的交并比（IoU）得分平均为：肿瘤区域0.79，正常组织0.90，特定Gleason分级范围在0.70至0.73之间，表明高度一致。
• 在临床对比中，13例中有11例的原始电子病历诊断与计算染色图像的诊断结果一致或有所改善，仅有轻微差异且被判定为非临床显著。