[论文解读] Generalizing multistain immunohistochemistry tissue segmentation using one-shot color deconvolution deep neural networks

Amal Lahiani, Jacob Gildenblat+3 more|arXiv (Cornell University)|May 17, 2018

AI in cancer detection参考文献 25被引用 10

一句话总结

本文提出一种一次训练的彩色去卷积深度神经网络，可在全切片图像中跨多种免疫组织化学（IHC）染色实现组织分割的泛化。通过将可学习的彩色去卷积层集成到U-Net架构中，该方法在无需预定义染色参考向量的情况下，提升了多染色数据的训练稳定性、收敛速度和泛化能力，实现了对肿瘤、健康组织和坏死组织在多种染色方案下的鲁棒分割。

ABSTRACT

A key challenge in cancer immunotherapy biomarker research is quantification of pattern changes in microscopic whole slide images of tumor biopsies. Different cell types tend to migrate into various tissue compartments and form variable distribution patterns. Drug development requires correlative analysis of various biomarkers in and between the tissue compartments. To enable that, tissue slides are manually annotated by expert pathologists. Manual annotation of tissue slides is a labor intensive, tedious and error-prone task. Automation of this annotation process can improve accuracy and consistency while reducing workload and cost in a way that will positively influence drug development efforts. In this paper we present a novel one-shot color deconvolution deep learning method to automatically segment and annotate digitized slide images with multiple stainings into compartments of tumor, healthy tissue, and necrosis. We address the task in the context of drug development where multiple stains, tissue and tumor types exist and look into solutions for generalizations over these image populations.

研究动机与目标

• 解决癌症免疫治疗生物标志物研究中手动、耗时且不一致的组织标注挑战。
• 开发一种可在多种IHC染色和组织类型间泛化的深度学习方法，这些在药物研发中常见，但在以往自动化分割研究中尚未被充分探索。
• 克服现有染色归一化和彩色去卷积方法的局限性，这些方法依赖于固定参考图像或单染色假设。
• 实现端到端训练分割网络，集成可学习的彩色去卷积模块，以单次训练方式适应多样的染色变化。
• 通过SmoothGrad和类最大化合成图像等可视化技术提升模型可解释性，增强病理科医生对自动化分割结果的信任。

提出的方法

• 在U-Net分割网络的输入处插入可学习的彩色去卷积层，使网络在训练过程中能自动学习与染色相关的分解方式。
• 使用包含77张全切片图像（9种染色类型：H&E和8种IHC染色）的数据集，以51张训练切片和26张测试切片进行端到端训练。
• 通过在10×放大倍数下将高分辨率切片分割为重叠的512×512×3 RGB图像块，对切片进行预处理，以平衡上下文信息与计算可行性。
• 使用病理科医生标注的真实标签，共四种类别：肿瘤、组织、坏死和排除（背景），并通过类别平衡策略处理极端类别不平衡问题。
• 采用一次训练方案，使彩色去卷积层在反向传播过程中进行优化，而无需事先知晓染色基向量。
• 利用SmoothGrad和类激活图等可视化技术，解释模型决策过程，并分析网络的有效感受野。

实验结果

研究问题

• RQ1 深度学习模型是否能在不依赖预定义染色参考图像的情况下，实现对多种免疫组织化学染色的组织分割泛化？
• RQ2 在多染色组织病理学分割中，集成可学习的彩色去卷积层在多大程度上提升了训练稳定性和收敛速度？
• RQ3 所提出的方法在处理来自全球临床切片源的染色变异方面，与传统染色归一化或固定去卷积方法相比，性能提升程度如何？
• RQ4 所学习的彩色去卷积特征在可解释性和对染色变异的鲁棒性方面，与标准方法相比表现如何？
• RQ5 类最大化合成图像和基于梯度的显著性图等可视化技术是否能有效解释网络的分割决策，以增强病理科医生的理解？

主要发现

• 所提出的单次训练彩色去卷积模块在多染色数据上的训练收敛速度和稳定性方面，显著优于标准U-Net训练方法。
• 该模型在测试集上表现出更优的泛化性能，证明了其在多种染色方案和组织类型下的鲁棒性。
• 彩色去卷积层的可视化结果表明，其能有效分离不同染色类型的染色通道，包括H&E和多种IHC组合。
• SmoothGrad分析显示，网络的决策过程依赖于足够大的有效感受野，尤其在组织和坏死类别中表现明显。
• 该方法在高染色变异场景下，优于依赖固定染色参考向量或外部归一化的基线方法。
• 可解释性可视化技术的整合增强了模型的透明度，支持病理科医生对自动化分割输出的信任。