[论文解读] Interpretable Classification from Skin Cancer Histology Slides Using Deep Learning: A Retrospective Multicenter Study

Peizhen Xie, Ke Zuo+4 more|arXiv (Cornell University)|Apr 12, 2019

Cutaneous Melanoma Detection and Management参考文献 14被引用 24

一句话总结

本研究基于H&E染色全切片图像，在多种放大倍数下，采用ResNet50和Vgg19构建可解释的深度学习模型，对皮肤癌进行分类。该模型在2,241张全切片图像中提取的995万张图像块上进行训练，能够出色地区分恶性黑色素瘤与良性痣，并在高倍放大下对痣进行分类，可视化技术增强了病理科医生对诊断结果的可解释性。

ABSTRACT

For diagnosing melanoma, hematoxylin and eosin (H&E) stained tissue slides remains the gold standard. These images contain quantitative information in different magnifications. In the present study, we investigated whether deep convolutional neural networks can extract structural features of complex tissues directly from these massive size images in a patched way. In order to face the challenge arise from morphological diversity in histopathological slides, we built a multicenter database of 2241 digital whole-slide images from 1321 patients from 2008 to 2018. We trained both ResNet50 and Vgg19 using over 9.95 million patches by transferring learning, and test performance with two kinds of critical classifications: malignant melanomas versus benign nevi in separate and mixed magnification; and distinguish among nevi in maximum magnification. The CNNs achieves superior performance across both tasks, demonstrating an AI capable of classifying skin cancer in the analysis from histopathological images. For making the classifications reasonable, the visualization of CNN representations is furthermore used to identify cells between melanoma and nevi. Regions of interest (ROI) are also located which are significantly helpful, giving pathologists more support of correctly diagnosis.

研究动机与目标

• 开发一种能够解释皮肤癌组织病理学切片中复杂组织结构的深度学习系统。
• 通过多中心、回顾性数据集应对组织病理学图像中的形态多样性。
• 利用基于图像块的卷积神经网络提高黑色素瘤与良性痣诊断的准确性。
• 通过生成可解释的可视化结果，提升模型的临床实用性。
• 通过提供感兴趣区域（ROI）定位，支持病理科医生实现更可靠的诊断。

提出的方法

• 构建了来自1,321名患者（2008–2018年）的2,241张全切片图像的多中心数据库，所有组织切片均经H&E染色。
• 从全切片图像中以不同放大倍数提取超过995万张图像块用于训练。
• 利用迁移学习在图像块数据集上微调预训练的ResNet50和Vgg19模型。
• 在两个分类任务上评估模型性能：黑色素瘤与良性痣的分类（分别在不同和混合放大倍数下），以及在最大放大倍数下的痣分类。
• 应用类激活映射（CAM）及其他可视化技术，解释卷积神经网络的特征并定位感兴趣区域（ROIs）。
• 使用注意力图和显著性可视化突出显示生物学相关结构（如异型黑色素细胞），以供临床验证。

实验结果

研究问题

• RQ1 深度卷积神经网络能否基于H&E染色全切片图像准确分类恶性黑色素瘤与良性痣？
• RQ2 当在不同放大倍数下进行训练和测试时，模型性能如何变化？
• RQ3 模型的预测是否可通过视觉注意力机制进行解释，以支持病理科医生？
• RQ4 哪些组织区域最能预测黑色素瘤与良性痣的区分？
• RQ5 模型对ROI的定位是否能提升诊断信心并减少阅片者间差异？

主要发现

• 该深度学习模型在黑色素瘤与良性痣分类及痣的亚型分类任务中均表现出优越的分类性能。
• 在超过995万张图像块上使用ResNet50和Vgg19进行迁移学习，实现了对多样化组织学模式的鲁棒特征提取。
• 可视化技术成功突出了异型黑色素细胞和结构紊乱区域，与病理学特征一致。
• 感兴趣区域（ROI）定位为病理科医生提供了可解释、具有生物学意义的诊断线索。
• 模型在混合放大倍数输入下表现出一致的性能，表明其具备良好的泛化能力。
• 可解释的输出通过识别与恶性相关的关键形态学特征，增强了诊断信心。