[论文解读] Deep Learning Models Delineates Multiple Nuclear Phenotypes in H&E Stained Histology Sections

Mina Khoshdeli, Bahram Parvin|arXiv (Cornell University)|Feb 13, 2018

AI in cancer detection参考文献 14被引用 3

一句话总结

该论文提出了一种深度学习框架，通过融合基于区域和基于边界卷积神经网络（CNNs）的方法，实现对H&E染色组织切片中多种核表型——尤其是泡状核和重叠核——的精确分割。该方法在乳腺癌和脑肿瘤切片中均实现了高精度分割，通过颜色分解和后处理，使重叠核的分离能力提升了63.2%，F1分数超过0.91。

ABSTRACT

Nuclear segmentation is an important step for profiling aberrant regions of histology sections. However, segmentation is a complex problem as a result of variations in nuclear geometry (e.g., size, shape), nuclear type (e.g., epithelial, fibroblast), and nuclear phenotypes (e.g., vesicular, aneuploidy). The problem is further complicated as a result of variations in sample preparation. It is shown and validated that fusion of very deep convolutional networks overcomes (i) complexities associated with multiple nuclear phenotypes, and (ii) separation of overlapping nuclei. The fusion relies on integrating of networks that learn region- and boundary-based representations. The system has been validated on a diverse set of nuclear phenotypes that correspond to the breast and brain histology sections.

研究动机与目标

• 解决由于生物异质性及样本制备过程中的技术差异，导致H&E染色组织切片中核分割的挑战。
• 克服传统方法在分割复杂核表型（尤其是泡状核和重叠核）方面的局限性。
• 开发一种稳健、高通量的框架，能够处理全切片图像，支持大规模组织病理学分析。
• 通过融合CNN整合基于区域和基于边界的表征，提升分割精度并改善重叠核的分离效果。

提出的方法

• 采用编码器-解码器U-Net架构（ENet）分别构建基于区域和基于边界的分割网络。
• 训练基于区域的网络，实现像素级分类，将像素划分为前景（核）或背景。
• 训练基于边界的网络，检测核之间的感知边界，尤其在重叠区域表现突出。
• 利用第三个ENet融合基于区域和基于边界的网络输出，学习结合空间与边界表征。
• 应用颜色分解技术，分离出苏木精染色的核区域，降低输入复杂度并提升训练效率。
• 通过分水岭分割后处理，解决融合网络推理后仍存在的重叠核问题。

实验结果

研究问题

• RQ1 深度学习模型能否在H&E染色切片中同时有效分割多种核表型（包括泡状核和非整倍体核）？
• RQ2 与仅使用基于区域的方法相比，基于边界的表征在分离重叠或接触核方面能提升多少性能？
• RQ3 基于区域和边界的CNN融合方法是否在准确性和鲁棒性上优于单一网络或传统分割方法（如图割）？
• RQ4 颜色分解对核分割模型在多样化组织学样本中的性能与泛化能力有何影响？

主要发现

• 融合ENet模型在测试集上达到0.91的F1分数，显著优于单一ENet（F1分数0.85）和多参考图割方法（F1分数0.79）。
• 该模型使重叠核的分离能力提升63.2%（98个接触核中正确分离62个），在复杂病例中表现优异。
• 颜色分解提升了分割性能，融合ENet + CD + 分水岭方法达到最高精度（0.94）与召回率（0.88）。
• 系统在单张GPU上处理约360×480大小的图像耗时约60毫秒，支持全切片图像的高通量分析。
• 该模型成功分割了传统方法通常难以处理的困难表型，如泡状核和高度异型性核。
• 通过分水岭分割后处理，成功解决了剩余的重叠核问题，完整实现了高保真度的分割流程。