[论文解读] Adaptive Supervised PatchNCE Loss for Learning H&E-to-IHC Stain Translation with Inconsistent Groundtruth Image Pairs

Fangda Li, Zhiqiang Hu+2 more|arXiv (Cornell University)|Mar 10, 2023

AI in cancer detection被引用 4

一句话总结

本文提出自适应监督PatchNCE（ASP），一种用于H&E到IHC染色转换的新型对比损失，通过自适应降低不相似图像块对的权重，缓解了因不一致真实图像对带来的噪声。该方法在新公开数据集MIST上，针对多种IHC染色实现了性能提升，并在HER2、Ki67、ER和PR染色上取得了显著的SSIM、FID和感知质量提升，达到当前最优性能。

ABSTRACT

Immunohistochemical (IHC) staining highlights the molecular information critical to diagnostics in tissue samples. However, compared to H&E staining, IHC staining can be much more expensive in terms of both labor and the laboratory equipment required. This motivates recent research that demonstrates that the correlations between the morphological information present in the H&E-stained slides and the molecular information in the IHC-stained slides can be used for H&E-to-IHC stain translation. However, due to a lack of pixel-perfect H&E-IHC groundtruth pairs, most existing methods have resorted to relying on expert annotations. To remedy this situation, we present a new loss function, Adaptive Supervised PatchNCE (ASP), to directly deal with the input to target inconsistencies in a proposed H&E-to-IHC image-to-image translation framework. The ASP loss is built upon a patch-based contrastive learning criterion, named Supervised PatchNCE (SP), and augments it further with weight scheduling to mitigate the negative impact of noisy supervision. Lastly, we introduce the Multi-IHC Stain Translation (MIST) dataset, which contains aligned H&E-IHC patches for 4 different IHC stains critical to breast cancer diagnosis. In our experiment, we demonstrate that our proposed method outperforms existing image-to-image translation methods for stain translation to multiple IHC stains. All of our code and datasets are available at https://github.com/lifangda01/AdaptiveSupervisedPatchNCE.

研究动机与目标

• 解决组织切片和染色变异性导致的组织病理学中H&E-IHC真实图像对不一致的挑战。
• 开发一种鲁棒的学习框架，利用不完美但具有诊断相关性的H&E-IHC图像对，实现精确的染色转换。
• 在非像素级完美图像对提供的噪声监督下，提升图像到图像转换的性能。
• 引入一个新的公开数据集MIST，包含四个关键乳腺癌IHC染色的对齐H&E-IHC图像块。

提出的方法

• 提出自适应监督PatchNCE（ASP），一种基于监督PatchNCE（SP）的基于图像块的对比损失，用于学习H&E与IHC图像块之间特征嵌入的对齐。
• 基于生成的IHC图像块与真实IHC图像块嵌入之间的局部相似性，对对比损失引入自适应加权，降低不一致区域的影响。
• 采用权重调度策略，根据图像块级别的相似性动态调整损失贡献，提升对噪声的鲁棒性。
• 在基于GAN的图像到图像转换框架中，使用ResNet-6Blocks生成器和PatchGAN判别器。
• 训练过程中采用随机512×512裁剪，批量大小为1，使用带有线性衰减学习率调度的Adam优化器。
• 综合运用感知和结构度量（SSIM、PHV、FID、KID）进行全面评估。

Figure 1 : Illustration of the PatchNCE loss from [ 11 ] and the Supervised PatchNCE (SP) loss. The patch embeddings $\boldsymbol{z}$ are extracted by a shared network $F$ .

实验结果

研究问题

• RQ1 基于对比学习的损失能否有效处理染色转换中不一致的H&E-IHC真实图像对？
• RQ2 基于图像块相似性的自适应加权在多大程度上提升了模型对噪声监督的鲁棒性？
• RQ3 所提出的ASP损失在多种IHC染色上能否显著优于现有图像到图像转换方法？
• RQ4 所提出方法在不同IHC染色（包括HER2、Ki67、ER和PR）上是否具备泛化能力？
• RQ5 一个包含多个IHC染色对齐H&E-IHC图像块的新型公开数据集，能否实现更好的基准测试和可复现性？

主要发现

• 所提出的ASP损失在所有四种IHC染色（HER2、Ki67、ER、PR）上均取得最佳性能，FID和KID得分最低，SSIM和PHV值最高。
• 在MIST_{HER2}数据集上，采用线性-top调度的ASP将FID降至51.2，KID降至16.7，优于SP基线（FID 61.9，KID 9.8）。
• 对于MIST_{ER}，ASP损失将FID从SP基线的46.4降至41.4（采用线性-λ调度），表明分布对齐能力得到提升。
• 采用sigmoid-top调度的ASP损失在MIST_{HER2}上实现了最低FID（45.2），证明了自适应加权的有效性。
• 定性比较显示，该方法显著提升了生成IHC图像的视觉一致性和病理表征保真度。
• MIST数据集包含每种染色超过4,000个训练图像块和1,000个测试图像块，为未来H&E到IHC转换研究提供了可复现的基准。

Figure 2 : (a) Input H&E image $\boldsymbol{x}$ , (b) generated IHC image $\boldsymbol{\hat{y}}$ , (c) groundtruth IHC image $\boldsymbol{y}$ , and (d) heat map of the anchor-positive cosine similarities produced by a trained network at corresponding locations: $C_{s}=\boldsymbol{z}_{\boldsymbol{\ha