[论文解读] Deep Learning Assessment of Tumor Proliferation in Breast Cancer Histological Images

Manan Shah, Christopher A. Rubadue+2 more|arXiv (Cornell University)|Oct 11, 2016

AI in cancer detection参考文献 15被引用 6

一句话总结

本研究提出了一种深度学习流程，整合了多种生物相关分类器，从全切片图像（WSIs）预测乳腺癌肿瘤增殖，其在分类肿瘤严重程度方面达到病理科医生水平的准确度（AUC: 0.78），并预测分子RNA表达水平，斯皮尔曼等级相关系数为0.60。此外，该方法还识别出200多个与肿瘤进展相关的新型影像学生物标志物。

ABSTRACT

Current analysis of tumor proliferation, the most salient prognostic biomarker for invasive breast cancer, is limited to subjective mitosis counting by pathologists in localized regions of tissue images. This study presents the first data-driven integrative approach to characterize the severity of tumor growth and spread on a categorical and molecular level, utilizing multiple biologically salient deep learning classifiers to develop a comprehensive prognostic model. Our approach achieves pathologist-level performance on three-class categorical tumor severity prediction. It additionally pioneers prediction of molecular expression data from a tissue image, obtaining a Spearman's rank correlation coefficient of 0.60 with ex vivo mean calculated RNA expression. Furthermore, our framework is applied to identify over two hundred unprecedented biomarkers critical to the accurate assessment of tumor proliferation, validating our proposed integrative pipeline as the first to holistically and objectively analyze histopathological images.

研究动机与目标

• 开发一种数据驱动的、整合性的深度学习模型，用于客观评估乳腺癌组织病理学中的肿瘤增殖。
• 改进病理科医生主观手动计数有丝分裂的现有方法，该方法存在可重复性低和范围有限的问题。
• 仅从组织病理学图像预测与肿瘤增殖相关的分子RNA表达水平，实现非侵入性预后评估。
• 识别与肿瘤增殖和疾病进展相关的新型影像衍生生物标志物。
• 构建一种可推广的框架，适用于除乳腺癌以外的其他癌症类型。

提出的方法

• 应用全切片图像颜色标准化（WSICS）以校正多中心数据集中的染色差异。
• 对HSV变换后的RGB图像使用Otsu方法提取组织区域，并通过二值膨胀去除伪影。
• 在10×放大倍数的全切片图像上训练四种CNN架构（包括一个自定义的LocNet网络），生成肿瘤概率热图以实现转移灶定位。
• 采用40×放大倍数的全卷积MitotisNet检测有丝分裂象，并从每个有丝分裂象中提取4,096维深度特征。
• 在200维空间中使用k-means聚类所有有丝分裂特征，为每张全切片图像生成固定长度的200桶直方图。
• 将肿瘤定位特征、全切片图像的一般特征以及有丝分裂特异性特征整合到统一模型中，用于分类分级（0–2）和分子RNA表达回归。

实验结果

研究问题

• RQ1 深度学习流程能否在从H&E染色全切片图像中分类肿瘤增殖严重程度方面达到病理科医生水平的性能？
• RQ2 仅从组织病理学图像能否预测与肿瘤增殖相关的分子RNA表达水平？
• RQ3 哪些新型影像衍生生物标志物可预测肿瘤增殖和疾病进展？
• RQ4 有丝分裂象和组织结构的深度特征如何贡献于预后建模？
• RQ5 端到端的数据驱动框架能否整合多个生物学任务，从而在乳腺癌预后评估方面超越人工评估？

主要发现

• 该模型在三分类肿瘤严重程度预测中实现了0.78的微观平均AUROC，准确率为0.72（95%置信区间：0.67–0.76），与病理科医生间的一致性（0.79）非常接近。
• 该流程预测分子RNA表达的斯皮尔曼等级相关系数为0.60（p < 0.001），是首次仅从组织病理学图像中实现此类预测。
• 该模型在RNA表达回归中实现了0.119的均方误差，表现出强大的预测性能。
• 有丝分裂数量和有丝分裂核面积标准差被确认为显著生物标志物，p < 0.005。
• 全切片图像中平均有丝分裂偏心率被识别为一种新型、具有生物学意义的肿瘤增殖预测因子。
• 发现了200多个此前未被识别的影像衍生生物标志物，包括来自有丝分裂象的低层次构型模式和组织结构的组成性特征。