[论文解读] Learning a low dimensional manifold of real cancer tissue with PathologyGAN

Adalberto Claudio Quiros, Roderick Murray‐Smith+1 more|arXiv (Cornell University)|Apr 13, 2020

AI in cancer detection参考文献 32被引用 5

一句话总结

该论文提出PathologyGAN-Encoder，一种深度生成模型，通过从PathologyGAN训练得到的编码器，将真实癌症组织切片图像映射到可解释的低维潜在空间。该方法学习了组织形态学的解耦表征——如癌细胞、淋巴细胞和间质密度——在高风险患者中揭示出明显的聚类，且潜在空间与5年生存结局对齐。

ABSTRACT

Application of deep learning in digital pathology shows promise on improving disease diagnosis and understanding. We present a deep generative model that learns to simulate high-fidelity cancer tissue images while mapping the real images onto an interpretable low dimensional latent space. The key to the model is an encoder trained by a previously developed generative adversarial network, PathologyGAN. We study the latent space using 249K images from two breast cancer cohorts. We find that the latent space encodes morphological characteristics of tissues (e.g. patterns of cancer, lymphocytes, and stromal cells). In addition, the latent space reveals distinctly enriched clusters of tissue architectures in the high-risk patient group.

研究动机与目标

• 开发一种无监督表示学习框架，用于数字病理学，无需临床标签即可捕捉组织形态学特征。
• 实现将真实H&E染色的癌症组织切片图像映射到低维潜在空间，同时保留具有生物学意义的组织结构。
• 探究潜在空间是否编码了临床相关特征，如肿瘤微环境异质性及患者生存结局。
• 证明潜在空间揭示了与高风险患者群体相关的组织结构聚类。
• 提供一种可解释的、生成式的数字病理学模型，通过训练好的编码器支持图像生成与表示学习。

提出的方法

• 将基于BigGAN和StyleGAN的条件生成对抗网络PathologyGAN适配为生成高保真度癌症组织切片图像并具备解耦潜在表征的模型。
• 引入一个可训练的编码器网络，将真实组织切片图像映射到生成器的潜在空间，作为生成器的逆函数。
• 利用预训练生成器导出的对抗性目标训练编码器，使其能够重建保留形态学特征的潜在码。
• 在生成器和判别器中，于中间分辨率引入残差块与AdaIN归一化及注意力层，以增强特征表示能力。
• 为编码器采用200维潜在空间，实现组织形态学的紧凑且信息丰富的表征。
• 在整个网络中应用特征自适应变换与LeakyReLU（0.2）激活函数，以稳定训练并提升特征学习效果。

实验结果

研究问题

• RQ1 经过训练的编码器能否将真实癌症组织切片图像映射到捕捉生物学相关形态学特征的低维潜在空间？
• RQ2 所学习的潜在空间是否能解耦关键组织特征，如癌细胞密度、淋巴细胞浸润和间质结构？
• RQ3 潜在空间中是否存在与5年生存状态相关的高风险患者群体对应的显著聚类？
• RQ4 潜在空间能否揭示长期与短期生存患者队列之间组织结构的形态学差异？
• RQ5 在无需显式监督的情况下，潜在空间在多大程度上保留了临床有意义的模式？

主要发现

• 编码器成功将真实H&E染色的癌症组织切片图像映射到200维潜在空间，编码了癌细胞、淋巴细胞和间质细胞密度等形态学特征。
• 潜在空间分析揭示了与高风险患者群体显著相关的富集聚类，且与临床生存结局一致。
• 该模型捕捉到生存时间少于五年与生存时间更长的患者之间组织形态学密度的差异，与既往临床发现一致。
• 潜在空间展现出组织结构特征的解耦，支持可解释的聚类与表示学习。
• 该框架实现了组织结构的无监督量化，并揭示了无需标注标签的生物学有意义模式。
• PathologyGAN-Encoder模型实现了高保真度的组织切片图像生成，并为数字病理学的下游分析提供了稳健且可解释的表征。