[论文解读] A comparative evaluation of image-to-image translation methods for stain transfer in histopathology

Igor Zingman, Sergio Frayle+3 more|arXiv (Cornell University)|Mar 29, 2023

AI in cancer detection被引用 5

一句话总结

本研究评估了12种图像到图像翻译方法——三种传统方法和九种基于GAN的方法——在H&E与Masson’s Trichrome组织病理学染色之间的染色转移效果。CycleGAN表现最佳，生成了高保真度、临床可用的合成图像，失真最小，并在下游组织分级任务中实现了近乎完美的稳定性，优于传统方法和其他GAN变体。

ABSTRACT

Image-to-image translation (I2I) methods allow the generation of artificial images that share the content of the original image but have a different style. With the advances in Generative Adversarial Networks (GANs)-based methods, I2I methods enabled the generation of artificial images that are indistinguishable from natural images. Recently, I2I methods were also employed in histopathology for generating artificial images of in silico stained tissues from a different type of staining. We refer to this process as stain transfer. The number of I2I variants is constantly increasing, which makes a well justified choice of the most suitable I2I methods for stain transfer challenging. In our work, we compare twelve stain transfer approaches, three of which are based on traditional and nine on GAN-based image processing methods. The analysis relies on complementary quantitative measures for the quality of image translation, the assessment of the suitability for deep learning-based tissue grading, and the visual evaluation by pathologists. Our study highlights the strengths and weaknesses of the stain transfer approaches, thereby allowing a rational choice of the underlying I2I algorithms. Code, data, and trained models for stain transfer between H&E and Masson's Trichrome staining will be made available online.

研究动机与目标

• 系统评估12种图像到图像翻译方法在组织病理学染色转移中的性能。
• 评估这些方法在使用真实染色图像与生成染色图像进行深度学习组织分级任务中的适用性。
• 评估人类病理学家区分真实与人工染色组织病理学图像的能力。
• 为染色转移应用中选择最优图像到图像翻译方法提供基准。
• 发布用于H&E到Masson’s Trichrome以及反向染色转移的代码、数据和训练模型。

提出的方法

• 评估了12种图像到图像翻译方法：三种传统方法（Macenko, Vahadane, Reinhard）和九种基于GAN的方法（CycleGAN, StainGAN, UNIT, DRIT, MUNIT, CUT, StainNet, ColorStat, Pix2Pix, UTOM）。
• 使用CAMELYON16数据集中配对的H&E与Masson’s Trichrome全切片图像进行训练和评估。
• 应用定量指标：MSE、MAE、SSIM、FID，以评估图像翻译质量和内容保留程度。
• 在真实MT染色图像块上训练一个深度学习模型用于炎症分级，并评估当输入为生成的MT图像时其性能表现。
• 开展盲法病理学家评估，使用200张真实图像和200张生成图像，以测试感知真实感。
• 评估使用300×300图像块，由于尺寸限制，排除了Pix2Pix和UTOM。

实验结果

研究问题

• RQ1 哪种图像到图像翻译方法在组织病理学图像中实现H&E与Masson’s Trichrome之间最逼真的染色转移？
• RQ2 不同图像到图像翻译方法如何影响下游深度学习模型在组织分级任务中的性能？
• RQ3 专家病理学家在多大程度上能够区分真实与人工染色的组织病理学图像？
• RQ4 传统图像处理方法与现代基于GAN的方法在染色转移质量方面相比如何？
• RQ5 哪种图像到图像翻译方法在图像保真度、内容保留和临床可用性之间提供了最佳平衡？

主要发现

• 当用于从MT到H&E的染色转移时，CycleGAN在炎症评分预测中实现了最低的MSE（1.1±0.2）和MAE（8.6±0.7），表明其与真实数据高度一致。
• StainGAN和UNIT表现与CycleGAN相当，MSE和MAE值接近理论最优值，且SSIM得分高、FID得分低。
• 传统方法（Macenko, Vahadane, Reinhard）表现较差，MSE值分别为9.7±0.7和10.3±0.7，表明存在显著失真和较差的转移质量。
• 病理学家无法可靠区分CycleGAN生成的图像与真实图像，准确率接近随机猜测（P1: 51.5%，P2: 53%），表明其具有高度感知真实感。
• MUNIT生成的图像更易被识别，病理学家准确率分别为57%和66%，表明存在可检测的伪影或风格不一致。
• 像素级对像素方法如StainNet和传统方法尽管在某些指标上保真度较高，但引入了显著失真，因此不适合用于染色转移。