[论文解读] Thyroid Cancer Malignancy Prediction From Whole Slide Cytopathology Images

David Dov, Shahar Z. Kovalsky+4 more|arXiv (Cornell University)|Mar 29, 2019

AI in cancer detection参考文献 38被引用 12

一句话总结

本文提出了一种深度学习框架，通过识别超高分辨率全切片甲状腺细针穿刺细胞病理图像中具有诊断意义的滤泡细胞群，实现对恶性程度和TBS分类的联合预测。该方法性能可与专家病理科医生相媲美，且在精确率-召回率方面表现更优，具备筛查及辅助诊断不确定病例的潜力。

ABSTRACT

We consider preoperative prediction of thyroid cancer based on ultra-high-resolution whole-slide cytopathology images. Inspired by how human experts perform diagnosis, our approach first identifies and classifies diagnostic image regions containing informative thyroid cells, which only comprise a tiny fraction of the entire image. These local estimates are then aggregated into a single prediction of thyroid malignancy. Several unique characteristics of thyroid cytopathology guide our deep-learning-based approach. While our method is closely related to multiple-instance learning, it deviates from these methods by using a supervised procedure to extract diagnostically relevant regions. Moreover, we propose to simultaneously predict thyroid malignancy, as well as a diagnostic score assigned by a human expert, which further allows us to devise an improved training strategy. Experimental results show that the proposed algorithm achieves performance comparable to human experts, and demonstrate the potential of using the algorithm for screening and as an assistive tool for the improved diagnosis of indeterminate cases.

研究动机与目标

• 开发一种计算方法，用于从全切片数字细胞病理图像中预判甲状腺癌的恶性程度。
• 通过聚焦于具有诊断意义的区域，解决在GPU显存有限条件下处理千兆字节级全切片图像的挑战。
• 通过联合预测恶性程度和TBS分类，提高不确定病例（TBS 3–5）的诊断准确性。
• 构建一种可扩展的、有监督的方法，模拟人类诊断流程——首先识别感兴趣区域，然后聚合特征以进行最终预测。

提出的方法

• 采用两阶段深度学习流程：首先，使用卷积神经网络（CNN）对图像块进行分类，以识别包含滤泡细胞群的区域，训练使用专家标注的图像块。
• 该模型采用有监督的区域提议机制，与传统多实例学习不同，直接在具有诊断意义的图像块上进行训练。
• 第二个网络聚合检测到的滤泡细胞区域的特征，以同时预测甲状腺恶性程度和术前TBS分类。
• 训练目标结合了恶性程度预测的二元交叉熵损失和TBS分类预测的序数回归损失，实现联合优化。
• 该框架利用TBS分类与恶性程度概率之间的单调关系，将TBS作为恶性风险的一致代理指标。
• 通过基于图像块的推理处理高分辨率全切片图像（最高达150,000 × 100,000像素），避免全图内存溢出。

实验结果

研究问题

• RQ1 深度学习模型能否在从全切片细胞病理图像预测甲状腺癌恶性程度方面，达到与专家病理科医生相当的性能？
• RQ2 与单任务学习相比，联合预测恶性程度和TBS分类是否能提升模型的鲁棒性与临床实用性？
• RQ3 该模型识别并聚焦于滤泡细胞群的能力，是否能带来优于全局图像分析或以背景为主特征的性能？
• RQ4 该模型能否在分类不确定病例（TBS 3–5）方面超越人类专家，特别是能为这些病例分配明确的良性或恶性标签？
• RQ5 该模型的性能在多大程度上依赖于标注训练图像块的质量与代表性？

主要发现

• 所提出的算法AUC值与专家病理科医生相当，且平均精确率（AP）得分更优。
• 该模型对TBS 2和TBS 6病例预测具有高度置信度，能正确将所有此类病例分类为良性或恶性。
• 混淆矩阵显示出明显的块对角结构，表明对TBS 2和TBS 6的预测可靠，能准确区分良性与恶性病例。
• 该算法成功将若干最初被标记为不确定（TBS 3–5）的病例重新分类为TBS 2或TBS 6，展示了其在疑难病例中作为辅助工具的潜力。
• 模型的预测与TBS系统的单调性一致，预测的TBS值越高，恶性风险也越高。
• 该方法能有效识别高分辨率切片中具有诊断意义的滤泡细胞群，经热力图和检测区域的视觉检查得到验证。