[论文解读] Stain Style Transfer using Transitive Adversarial Networks

Shaojin Cai, Yuyang Xue Qinquan Gao+4 more|arXiv (Cornell University)|Oct 23, 2019

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 5

一句话总结

该论文提出了一种新型基于生成对抗网络的染色风格迁移方法——可转移对抗网络（Transitive Adversarial Networks, TAN），用于全切片图像中的染色风格迁移，无需依赖参考模板切片。通过采用一种新型生成器架构——Trans-Net，并结合循环一致性框架，TAN 在性能上达到当前最先进水平，相较于 StainGAN 方法在 PSNR 上提升了 0.87 dB，推理时间仅 31 秒，显著快于 StainGAN 的 60 秒。

ABSTRACT

Digitized pathological diagnosis has been in increasing demand recently. It is well known that color information is critical to the automatic and visual analysis of pathological slides. However, the color variations due to various factors not only have negative impact on pathologist's diagnosis, but also will reduce the robustness of the algorithms. The factors that cause the color differences are not only in the process of making the slices, but also in the process of digitization. Different strategies have been proposed to alleviate the color variations. Most of such techniques rely on collecting color statistics to perform color matching across images and highly dependent on a reference template slide. Since the pathological slides between hospitals are usually unpaired, these methods do not yield good matching results. In this work, we propose a novel network that we refer to as Transitive Adversarial Networks (TAN) to transfer the color information among slides from different hospitals or centers. It is not necessary for an expert to pick a representative reference slide in the proposed TAN method. We compare the proposed method with the state-of-the-art methods quantitatively and qualitatively. Compared with the state-of-the-art methods, our method yields an improvement of 0.87dB in terms of PSNR, demonstrating the effectiveness of the proposed TAN method in stain style transfer.

研究动机与目标

• 解决不同扫描仪和医院之间数字化病理切片中存在的颜色差异问题。
• 消除现有染色迁移方法中对专家选定的参考模板切片的依赖。
• 提升染色风格迁移的质量与速度，以增强病理诊断和计算机辅助诊断（CAD）系统的一致性。
• 开发一种鲁棒的无监督方法，适用于来自不同来源的未配对全切片图像。

提出的方法

• TAN 采用受 CycleGAN 启发的循环一致性 GAN 框架，实现不同扫描仪获取的苏木素-伊红（H&E）染色切片之间的双向翻译（例如，Aperio 到 Hamamatsu）。
• 该方法提出一种新型生成器网络——Trans-Net，其包含 8 层下采样和 8 层上采样，以保留高层语义与纹理信息。
• Trans-Net 采用跳跃连接机制，在下采样/上采样前后融合低层特征，减少信息损失，提升颜色与纹理保真度。
• 模型使用最小-最大对抗损失训练生成器与判别器，并通过循环一致性损失确保翻译过程中的结构一致性。
• 生成器仅包含 16 个卷积层，以减少过拟合，并加速训练与推理过程。
• 该框架以无监督方式运行，无需域间图像配对，适用于真实世界病理影像场景。

实验结果

研究问题

• RQ1 基于 GAN 的方法是否能在不依赖人工选择参考模板切片的情况下实现高质量的染色风格迁移？
• RQ2 所提出的 Trans-Net 生成器相较于现有架构，在保留病理图像的颜色、对比度与纹理细节方面表现如何？
• RQ3 与当前最先进染色迁移技术相比，该方法在 PSNR 和 SSIM 指标上的提升程度如何？
• RQ4 该方法是否能在保持或提升性能的同时实现更快的推理速度？

主要发现

• 所提出的 TAN 方法实现了 22.22 dB 的 PSNR，相较于当前最先进方法 StainGAN 的 21.35 dB 提升了 0.87 dB。
• TAN 的 SSIM 达到 0.812，显著优于 StainGAN 的 0.785，表明其生成图像与真实图像在结构上更相似。
• TAN 的单张图像推理时间为 31 秒，比 StainGAN 的 60 秒快 50%，展现出更高的计算效率。
• 视觉对比结果表明，TAN 生成的图像在颜色准确性、对比度与纹理细节方面均更接近真实图像，优于 StainGAN 及其他基线生成器。
• 在测试的多种生成器架构中，Trans-Net 在 PSNR 与 SSIM 指标上均优于 U-Net、Res-UNet、DenseNet 与 Dense-UNet，且计算时间更短。
• Trans-Net 的设计——包括大量下采样/上采样层以及特征融合机制——有助于更好地保留语义与纹理细节。