[论文解读] DASGAN -- Joint Domain Adaptation and Segmentation for the Analysis of Epithelial Regions in Histopathology PD-L1 Images

Ansh Kapil, Tobias Wiestler+6 more|arXiv (Cornell University)|Jun 26, 2019

AI in cancer detection参考文献 15被引用 19

一句话总结

该论文提出DASGAN，一种端到端深度学习框架，联合执行域自适应与语义分割，以实现在PD-L1染色组织病理学图像中精确分割肿瘤上皮组织。通过利用半自动标注的细胞角蛋白（CK）图像，并借助无配对图像到图像的翻译（CycleGAN），DASGAN生成用于训练的合成PD-L1图像，在上皮组织检测中达到最先进的F1分数0.886，并实现与病理学家PD-L1肿瘤细胞（TC）评分高度一致的准确估计（Lin一致性相关系数Lcc = 0.93）。

ABSTRACT

The analysis of the tumor environment on digital histopathology slides is becoming key for the understanding of the immune response against cancer, supporting the development of novel immuno-therapies. We introduce here a novel deep learning solution to the related problem of tumor epithelium segmentation. While most existing deep learning segmentation approaches are trained on time-consuming and costly manual annotation on single stain domain (PD-L1), we leverage here semi-automatically labeled images from a second stain domain (Cytokeratin-CK). We introduce an end-to-end trainable network that jointly segment tumor epithelium on PD-L1 while leveraging unpaired image-to-image translation between CK and PD-L1, therefore completely bypassing the need for serial sections or re-staining of slides. Extending the method to differentiate between PD-L1 positive and negative tumor epithelium regions enables the automated estimation of the PD-L1 Tumor Cell (TC) score. Quantitative experimental results demonstrate the accuracy of our approach against state-of-the-art segmentation methods.

研究动机与目标

• 解决PD-L1染色组织病理学图像中手动标注数据有限的问题，这些数据生成成本高且耗时长。
• 通过利用无配对图像到图像的翻译技术，克服CK与PD-L1图像无配对的问题，将分割掩码从CK域迁移至PD-L1域。
• 开发一种端到端可训练的模型，联合优化域自适应与语义分割，性能优于两步法。
• 实现PD-L1肿瘤细胞（TC）评分的自动化估计，该评分是预测非小细胞肺癌（NSCLC）患者对免疫检查点抑制剂治疗反应的关键生物标志物。
• 通过展示DASGAN预测的TC评分与未见数据中病理学家估计评分之间的高度一致性，证明其临床相关性。

提出的方法

• 使用颜色去卷积、Otsu阈值分割和形态学操作，对细胞角蛋白（CK）染色图像进行半自动处理，生成边界精确的上皮组织分割掩码。
• 应用CycleGAN将CK图像翻译为逼真的合成PD-L1图像，无需配对图像或重新染色，采用循环一致性对抗训练。
• 在统一的DASGAN框架中整合CycleGAN翻译网络与语义分割头，实现图像翻译与分割的联合优化。
• 使用对抗损失、循环一致性损失和分割交叉熵损失，端到端训练DASGAN模型，其中分割头由真实PD-L1标注监督。
• 结合生成的合成PD-L1图像与真实PD-L1标注，训练分割网络，降低对人工标注的依赖。
• 扩展模型以分类上皮区域为PD-L1阳性或阴性，实现对肿瘤细胞（TC）评分的自动化计算。

实验结果

研究问题

• RQ1 在无配对图像的情况下，从CK染色域到PD-L1染色域的无配对图像到图像翻译是否能有效生成语义分割的合成训练数据？
• RQ2 在单一端到端网络（DASGAN）中联合优化域自适应与分割，是否优于分别训练域翻译与分割的两步法？
• RQ3 与仅使用真实PD-L1标注训练的模型相比，DASGAN框架在PD-L1染色组织病理学图像中上皮区域分割精度的提升程度如何？
• RQ4 DASGAN模型能否以与病理学家评分高度一致的方式准确估计PD-L1肿瘤细胞（TC）评分，这一临床相关生物标志物？
• RQ5 在不同人工标注可用性水平下，特别是低数据环境下，DASGAN的性能表现如何？

主要发现

• DASGAN在二分类上皮组织分割中取得0.886的F1分数，在三分类任务（PD-L1阴性、阳性及非上皮区域）中取得0.850的F1分数，优于仅使用真实PD-L1数据训练的模型（F1 = 0.807/0.805）和两步法（F1 = 0.805/0.804）。
• 模型与病理学家评分表现出高度一致性，在704张未见PD-L1图像上，Lin一致性相关系数（Lcc）达0.93，皮尔逊相关系数（Pcc）达0.94。
• DASGAN预测的TC评分与病理学家估计的TC评分之间的平均绝对误差（MAE）为7.30，表明其具有强大的临床可靠性。
• 在低标注数据环境下，合成数据带来的性能增益最为显著；即使在真实标注数据充足的情况下，DASGAN的F1分数仍提升至0.916（基线模型为0.894）。
• 两步法（分别训练域自适应与分割）的性能并未优于仅在真实PD-L1数据上训练的模型，表明联合优化是必不可少的。
• DASGAN模型成功区分PD-L1阳性与阴性上皮区域，实现对临床相关TC评分的自动化计算。