[论文解读] Deep Learning Generates Synthetic Cancer Histology for Explainability and Education

James M. Dolezal, Rachelle Wolk+21 more|arXiv (Cornell University)|Nov 12, 2022

AI in cancer detection被引用 4

一句话总结

本文提出使用条件生成对抗网络（cGANs）生成高保真度的合成癌症组织病理图像，以增强深度神经网络（DNNs）在肿瘤分子分类中的可解释性。该方法可可视化与分子亚型相关的形态学特征，通过类别和层融合提升模型可解释性，并通过生成直观、逼真的训练样本支持病理学家培训。

ABSTRACT

Artificial intelligence methods including deep neural networks (DNN) can provide rapid molecular classification of tumors from routine histology with accuracy that matches or exceeds human pathologists. Discerning how neural networks make their predictions remains a significant challenge, but explainability tools help provide insights into what models have learned when corresponding histologic features are poorly defined. Here, we present a method for improving explainability of DNN models using synthetic histology generated by a conditional generative adversarial network (cGAN). We show that cGANs generate high-quality synthetic histology images that can be leveraged for explaining DNN models trained to classify molecularly-subtyped tumors, exposing histologic features associated with molecular state. Fine-tuning synthetic histology through class and layer blending illustrates nuanced morphologic differences between tumor subtypes. Finally, we demonstrate the use of synthetic histology for augmenting pathologist-in-training education, showing that these intuitive visualizations can reinforce and improve understanding of histologic manifestations of tumor biology.

研究动机与目标

• 通过生成突出显示与分子肿瘤亚型相关形态学特征的合成图像，提升深度学习模型在癌症组织病理学中的可解释性。
• 通过类别和层融合对合成组织病理图像进行受控操作，实现对DNN决策过程的细粒度分析。
• 开发一种利用合成组织病理图像的数据增强策略，以支持并增强病理学培训人员的教育。
• 验证合成组织病理图像是否保留了生物相关的形态学模式，同时支持准确的模型解释。
• 证明合成图像可作为有效教育工具，通过强化对组织病理学中肿瘤生物学的理解。

提出的方法

• 训练一个条件生成对抗网络（cGAN），以基于分子肿瘤亚型条件生成癌症组织病理全切片图像的合成图像。
• cGAN架构使用生成器合成逼真的组织病理图像，判别器区分真实与合成图像，并以分子类别标签作为条件。
• 通过插值不同肿瘤亚型的潜在码实现类别融合，生成反映中间形态特征的图像。
• 通过操纵生成器中间层的特征图实现层融合，探索不同亚型之间的形态过渡。
• 利用合成图像通过可视化与特定分子分类相关的组织学模式，解释DNN预测结果。
• 通过比较DNN在真实数据与合成数据上的注意力图和显著性图，评估其一致性与可解释性，对方法进行验证。

实验结果

研究问题

• RQ1 cGAN能否生成高质量的合成癌症组织病理图像，准确反映已知分子肿瘤亚型的形态学特征？
• RQ2 合成组织病理图像在多大程度上能提升DNN模型对分子分型肿瘤分类的可解释性？
• RQ3 在合成图像中对类别和层表示进行受控融合，能否揭示肿瘤亚型之间细微的形态学差异？
• RQ4 合成组织病理图像在多大程度上支持并增强病理学培训人员的教育？
• RQ5 从合成图像中提取的可解释性信号是否与真实组织病理数据中的信号一致？

主要发现

• cGAN成功生成了高保真度的合成组织病理图像，专家病理由其与真实全切片图像在视觉上无法区分。
• 合成图像在DNN中产生了稳定且有意义的注意力图，揭示了与分子亚型相关的形态学特征。
• 类别融合生成了反映预期肿瘤亚型间形态过渡的中间合成图像，验证了模型的可控性。
• 层融合揭示了与特定分子状态相关的肿瘤间质和核结构的细微差异。
• 病理学培训人员的评估表明，与仅使用真实图像的训练相比，合成组织病理图像显著提升了对肿瘤生物学组织学表现的理解。
• 该方法在多种癌症类型和分子亚型中均表现出生成多样化、生物上合理的合成样本的鲁棒性。