[论文解读] Improving Unsupervised Stain-To-Stain Translation using Self-Supervision and Meta-Learning

Nassim Bouteldja, Barbara M. Klinkhammer+3 more|arXiv (Cornell University)|Jan 1, 2021

AI in cancer detection被引用 2

一句话总结

本文提出一种自监督、元学习增强的CycleGAN，用于肾脏组织病理学中的无监督染色到染色转换，以实现染色无关的分割。通过整合先验分割网络提供语义指导，并增加额外通道以消除重建歧义，该方法在肾小球、小管和静脉的实例级Dice分数达到78–92%，但动脉的翻译效果仍较差，表明在实现普遍适用的模拟染色方面仍存在当前局限性。

ABSTRACT

In digital pathology, many image analysis tasks are challenged by the need for large and time-consuming manual data annotations to cope with various sources of variability in the image domain. Unsupervised domain adaptation based on image-to-image translation is gaining importance in this field by addressing variabilities without the manual overhead. Here, we tackle the variation of different histological stains by unsupervised stain-to-stain translation to enable a stain-independent applicability of a deep learning segmentation model. We use CycleGANs for stain-to-stain translation in kidney histopathology, and propose two novel approaches to improve translational effectivity. First, we integrate a prior segmentation network into the CycleGAN for a self-supervised, application-oriented optimization of translation through semantic guidance, and second, we incorporate extra channels to the translation output to implicitly separate artificial meta-information otherwise encoded for tackling underdetermined reconstructions. The latter showed partially superior performances to the unmodified CycleGAN, but the former performed best in all stains providing instance-level Dice scores ranging between 78% and 92% for most kidney structures, such as glomeruli, tubules, and veins. However, CycleGANs showed only limited performance in the translation of other structures, e.g. arteries. Our study also found somewhat lower performance for all structures in all stains when compared to segmentation in the original stain. Our study suggests that with current unsupervised technologies, it seems unlikely to produce generally applicable simulated stains.

研究动机与目标

• 解决数字病理学中染色间差异性的问题，该问题会阻碍在单一染色上训练的深度学习模型的泛化能力。
• 克服现有无监督域自适应方法在转换复杂组织学结构（如动脉）方面的局限性。
• 通过在无需目标染色人工标注的情况下，基于模拟染色训练深度学习模型，实现染色无关的分割。
• 探究是否可通过自监督和元学习实现逼真、面向应用的图像转换，以提高转换保真度。
• 评估生成‘普遍适用’模拟染色的可行性，使其在下游分割任务中保留诊断相关的形态学特征。

提出的方法

• 将CycleGAN适配于肾脏组织病理学中免疫组织化学（IHC）染色与过碘酸-雪夫（PAS）染色之间的无监督染色到染色转换。
• 将预训练的U-Net分割网络作为自监督损失，以指导转换过程保留临床相关的结构。
• 在生成器输出中引入额外的特征通道，以隐式编码元信息，减少在欠定重建中的歧义。
• 端到端训练模型，使用循环一致性损失、对抗性损失和基于分割的感知损失，以提高结构保真度。
• 在训练过程中，将分割网络的预测作为可微分的监督信号，使转换与语义任务目标对齐。
• 将训练好的模型应用于将IHC染色的肾脏切片转换为类似PAS的外观，以供下游分割评估。

实验结果

研究问题

• RQ1 通过分割网络实现的自监督语义指导，能否提升无监督染色到染色转换在数字病理学中的质量与任务相关性？
• RQ2 生成器中额外的输出通道在多大程度上有助于解决图像到图像转换中的歧义，特别是针对复杂结构？
• RQ3 在真实PAS染色切片上训练的分割模型，其在使用基于CycleGAN的方法从IHC染色转换而来的图像上的泛化能力如何？
• RQ4 哪些组织学结构（如肾小球、小管、动脉）的转换最为可靠，哪些因素限制了转换性能？
• RQ5 是否可行生成‘普遍适用’的模拟染色，使其在诊断分割任务中保持足够的形态保真度？

主要发现

• 集成分割网络的模型表现最佳，所有染色下肾小球、小管和静脉的实例级Dice分数范围为78%至92%。
• 动脉的翻译效果仍然较差，结构常与小管混淆，表明在无监督学习下难以捕捉细微的形态学细节。
• 即使在转换图像中存在细微且难以察觉的变化，也显著影响了分割的可预测性，Dice分数分布的高标准差即为此提供了证据。
• 在转换图像上的分割性能始终低于在真实PAS染色图像上的表现，表明当前转换方法尚未完全保留所有诊断相关特征。
• 通过分割实现的自监督显著提升了主要肾脏结构的转换保真度，证明了任务特定优化的价值。
• 本研究结论认为，由于持续存在的结构和形态不一致性，当前无监督方法在生成普遍适用的模拟染色方面仍极具挑战。