[论文解读] Context-aware stacked convolutional neural networks for classification of breast carcinomas in whole-slide histopathology images

Babak Ehteshami Bejnordi, Guido Zuidhof+7 more|arXiv (Cornell University)|May 10, 2017

AI in cancer detection参考文献 30被引用 7

一句话总结

本文提出了一种上下文感知的堆叠卷积神经网络（CAS-CNN），用于将乳腺组织的全切片病理图像（WSI）分类为正常/良性、导管原位癌（DCIS）和浸润性导管癌（IDC）。该方法采用两阶段深度学习策略：首先，使用高分辨率卷积神经网络从小型图像块中提取细胞水平特征；随后，通过一个全卷积网络整合全局上下文依赖关系。该系统在221张全切片图像的数据集上，实现了二分类AUC为0.962，三分类准确率为81.3%。

ABSTRACT

Automated classification of histopathological whole-slide images (WSI) of breast tissue requires analysis at very high resolutions with a large contextual area. In this paper, we present context-aware stacked convolutional neural networks (CNN) for classification of breast WSIs into normal/benign, ductal carcinoma in situ (DCIS), and invasive ductal carcinoma (IDC). We first train a CNN using high pixel resolution patches to capture cellular level information. The feature responses generated by this model are then fed as input to a second CNN, stacked on top of the first. Training of this stacked architecture with large input patches enables learning of fine-grained (cellular) details and global interdependence of tissue structures. Our system is trained and evaluated on a dataset containing 221 WSIs of H&E stained breast tissue specimens. The system achieves an AUC of 0.962 for the binary classification of non-malignant and malignant slides and obtains a three class accuracy of 81.3% for classification of WSIs into normal/benign, DCIS, and IDC, demonstrating its potentials for routine diagnostics.

研究动机与目标

• 开发一种用于将H&E染色乳腺组织的全切片图像（WSI）自动分类为正常/良性、DCIS和IDC类别的深度学习系统。
• 解决在同时包含细粒度细胞细节和大范围组织背景的高分辨率WSI中进行分析的挑战。
• 通过堆叠CNN架构整合局部细胞特征与全局结构依赖关系，以提升分类性能。
• 在来自临床队列的221张全切片图像的真实世界数据集上评估该系统。
• 评估使用深度学习实现常规诊断分诊的可行性，例如在不遗漏恶性病例的前提下过滤掉良性切片。

提出的方法

• 采用两阶段堆叠CNN架构：第一阶段使用在高分辨率图像块（最大512×512）上训练的CNN，提取细粒度细胞特征。
• 第一阶段CNN的特征图作为输入，送入堆叠在其上的第二阶段全卷积网络，以建模组织中长程的上下文依赖关系。
• 通过大尺寸输入图像块，对堆叠网络进行端到端训练，以实现对局部形态和全局组织结构的联合学习。
• 该系统利用分层特征学习，捕捉对区分良性、原位癌和浸润性癌至关重要的细胞核和腺管模式。
• 模型在由221张全切片图像组成的数据集上进行训练和评估，其中包含专家病理科医生的标注。
• 该方法通过大图像块输入实现感受野扩展，增强了上下文感知能力，而无需依赖外部数据增强。

实验结果

研究问题

• RQ1 堆叠CNN架构能否有效结合局部细胞水平特征与全局组织上下文，以实现对乳腺WSI的准确分类？
• RQ2 增大输入图像块尺寸如何影响深度学习模型在全切片图像中分类乳腺癌的表现？
• RQ3 具有上下文感知能力的深度学习模型在H&E染色全切片图像中，对良性、DCIS和IDC病灶的区分能力达到何种程度？
• RQ4 此类系统能否在高灵敏度检测恶性肿瘤的同时，实现对良性切片的高效分诊？
• RQ5 在自动分类乳腺病变时，主要的误分类来源是什么，特别是DCIS与良性假象之间的混淆？

主要发现

• CAS-CNN在二分类任务中对正常/良性与恶性（DCIS和IDC）全切片图像的受试者工作特征曲线下面积（AUC）达到0.962。
• 该系统在测试集上实现了81.3%的三分类准确率和0.700的Cohen’s kappa值，表明其在真实世界数据上表现出色。
• 该模型正确分类了所有恶性切片（IDC和DCIS），并成功过滤掉了约50%的良性切片，且未遗漏任何癌症病例。
• 误分类主要发生在良性病变（如典型导管增生）与DCIS之间，以及DCIS与IDC之间，表明即使专家也存在诊断模糊性。
• 随着输入图像块尺寸的增大，性能持续提升，表明扩展的感受野可增强分类准确性。
• 本研究表明，染色标准化和多尺度架构可能进一步提升泛化能力，并减少在细微形态差异区分上的错误。