[论文解读] Automatic breast cancer grading in lymph nodes using a deep neural network

Thomas Wollmann, Karl Rohr|arXiv (Cornell University)|Jul 24, 2017

AI in cancer detection参考文献 11被引用 8

一句话总结

本文提出一种基于深度学习的快速方法，用于在淋巴结全切片图像（WSIs）中自动进行乳腺癌分级，采用稀疏分类与密集连接卷积神经网络相结合。通过首先利用颜色阈值法识别感兴趣区域（ROIs），再对512×512像素的图像块进行模型平均分类，该系统在标准工作站上可在4秒内完成单个患者的分级，实现高通量、高准确率且高效的淋巴结评估，仅需切片级标注。

ABSTRACT

The progression of breast cancer can be quantified in lymph node whole-slide images (WSIs). We describe a novel method for effectively performing classification of whole-slide images and patient level breast cancer grading. Our method utilises a deep neural network. The method performs classification on small patches and uses model averaging for boosting. In the first step, region of interest patches are determined and cropped automatically by color thresholding and then classified by the deep neural network. The classification results are used to determine a slide level class and for further aggregation to predict a patient level grade. Fast processing speed of our method enables high throughput image analysis.

研究动机与目标

• 通过全切片图像（WSIs）自动化处理淋巴结转移的乳腺癌手动分级过程，以减少耗时且易出错的人工操作。
• 通过采用稀疏分类方法，解决密集分类方法在处理无信息组织区域时效率低下的问题。
• 开发一种快速、可扩展且准确的系统，适用于在标准工作站上临床部署。
• 仅使用切片级标注实现患者级分级，降低对图像块级标注的依赖。

提出的方法

• 基于绿色到红色强度比为0.9的颜色阈值法检测感兴趣区域（ROIs），随后使用50像素直径的圆形结构元素进行中值滤波。
• 在64倍下采样因子下，从ROIs中采样20个非重叠的512×512像素图像块用于分类。
• 采用具有PReLU激活函数和全局平均池化的密集连接卷积神经网络，将组织分类为四种类别：ITC、大转移灶、微转移灶或阴性。
• 通过将所有20个图像块的类别激活值相加，并选择最大预测类别，实现图像块级分类结果的模型平均，用于切片级分类。
• 数据增强包括随机旋转、翻转、色彩偏移和弹性形变，以提升模型的鲁棒性与泛化能力。
• 基于切片级分类结果，使用预设的临床规则（如pN0、pN1mi）确定患者级分级。

实验结果

研究问题

• RQ1 基于深度学习的稀疏分类方法是否能在保持快速推理速度的同时，实现高精度的淋巴结转移灶分级？
• RQ2 与单图像块推理相比，通过多个图像块的模型平均在提升分类鲁棒性方面效果如何？
• RQ3 仅使用切片级标注进行训练的模型，在缺乏图像块级标注的情况下，其性能可靠性能达到何种程度？
• RQ4 颜色阈值法与形态学操作是否能有效从全切片图像中分离出生物相关区域，以支持后续深度学习分类？
• RQ5 与现有全切片图像分析的密集分类方法相比，所提出方法在速度与准确率方面表现如何？

主要发现

• 在配备GTX 1070 GPU的标准Intel i7-6700K工作站上，单个512×512像素图像块的平均分类时间为0.04秒。
• 全切片图像分类耗时0.78秒，单名患者的患者级分级在3.90秒内完成。
• 系统通过仅聚焦于生物相关区域，避免对无信息组织区域进行计算，从而实现高通量处理。
• 通过对20个图像块的激活值求和并选择最大激活类别，模型平均显著提升了分类的稳定性和性能。
• 该方法仅使用切片级标注进行训练，证明了在图像块级标注成本高昂的实际场景中部署的可行性。
• 通过归一化处理与在64倍放大倍数下的一致处理，该方法对全切片图像下采样因子的变化具有鲁棒性。