[论文解读] A Deep-Learning Algorithm for Thyroid Malignancy Prediction From Whole Slide Cytopathology Images.

David Dov, Shahar Z. Kovalsky+6 more|arXiv (Cornell University)|May 2, 2019

AI in cancer detection被引用 6

一句话总结

本文提出了一种新颖的两阶段深度学习算法，用于从全切片图像（WSI）中预测甲状腺恶性肿瘤，该算法利用多种标签类型——包级别恶性程度、诊断评分以及实例级别信息量和异常性——基于最大似然估计（MLE）框架进行建模。通过改进实例识别并利用弱监督训练策略将局部评分整合到全局预测中，该方法在基于推导出的MLE下界的基础上实现了人类水平的性能表现。

ABSTRACT

We consider machine-learning-based thyroid-malignancy prediction from cytopathology whole-slide images (WSI). Multiple instance learning (MIL) approaches, typically used for the analysis of WSIs, divide the image (bag) into patches (instances), which are used to predict a single bag-level label. These approaches perform poorly in cytopathology slides due to a unique bag structure: sparsely located informative instances with varying characteristics of abnormality. We address these challenges by considering multiple types of labels: bag-level malignancy and ordered diagnostic scores, as well as instance-level informativeness and abnormality labels. We study their contribution beyond the MIL setting by proposing a maximum likelihood estimation (MLE) framework, from which we derive a two-stage deep-learning-based algorithm. The algorithm identifies informative instances and assigns them local malignancy scores that are incorporated into a global malignancy prediction. We derive a lower bound of the MLE, leading to an improved training strategy based on weak supervision, that we motivate through statistical analysis. The lower bound further allows us to extend the proposed algorithm to simultaneously predict multiple bag and instance-level labels from a single output of a neural network. Experimental results demonstrate that the proposed algorithm provides competitive performance compared to several competing methods, achieves (expert) human-level performance, and allows augmentation of human decisions.

研究动机与目标

• 解决标准多实例学习（MIL）在细胞病理学WSI中的局限性，其中信息性实例稀疏且异质性高。
• 通过不仅引入包级别标签，还结合有序诊断评分以及实例级别信息量和异常性标注，提升恶性肿瘤预测性能。
• 基于最大似然估计（MLE）的下界，开发一种弱监督训练策略，以增强模型在不完整或噪声标签下的学习能力。
• 通过单一神经网络输出，实现对多种标签类型——包级别恶性程度和实例级别属性——的同时预测。
• 在从全切片图像中分类甲状腺恶性肿瘤方面，实现与专家病理科医生相当的性能。

提出的方法

• 该方法引入一种两阶段深度学习框架：首先在WSI（包）中识别信息性切片（实例），然后为其分配局部恶性程度评分。
• 通过最大似然估计（MLE）框架来形式化学习问题，将包级别恶性程度、实例级别信息量、异常性以及有序诊断评分作为标签。
• 推导出MLE的下界，以实现弱监督，使模型即使在缺乏完整监督的情况下也能有效训练。
• 通过共享单一神经网络输出，实现全局恶性程度与局部实例属性的联合预测。
• 模型使用注意力机制或类似机制，基于其预测的信息量和异常性来识别并加权信息性实例。
• 通过推导出的MLE下界优化训练策略，提升在弱监督条件下的鲁棒性和收敛性。

实验结果

研究问题

• RQ1 在细胞病理学WSI中，结合多种标签类型——包级别恶性程度、诊断评分以及实例级别信息量和异常性——是否能超越标准MIL，提升甲状腺恶性肿瘤预测性能？
• RQ2 在本研究背景下，基于推导下界的最大似然估计（MLE）框架如何增强弱监督学习？
• RQ3 单个深度学习模型在一次前向传播中，能多大程度上同时预测包级别和实例级别标签？
• RQ4 所提出的方法是否在从全切片图像中分类甲状腺恶性肿瘤方面达到与专家人类病理科医生相当的性能？
• RQ5 模型识别并为信息性实例打分的能力，如何促进全局恶性程度预测的改进？

主要发现

• 所提出的算法在从全切片图像中预测甲状腺恶性肿瘤方面，与多种最先进方法相比表现出具有竞争力的性能。
• 该模型达到人类水平的性能，证明其在恶性肿瘤分类方面可与专家病理科医生的准确率相媲美。
• 将实例级别信息量和异常性标签整合，显著提升了对WSI中相关区域的识别能力。
• 基于MLE下界的弱监督训练策略，带来了更稳定且高效的模型优化。
• 该方法通过统一的网络架构，实现了对多种标签类型——全局恶性程度和局部实例属性——的同时预测。
• 模型为信息性切片分配局部恶性程度评分的能力，增强了可解释性，并支持对人类诊断决策的补充。