[论文解读] Apple Machine Learning Algorithms Successfully Detect Colon Cancer but Fail to Predict KRAS Mutation Status

Andrew Borkowski, Catherine P. Wilson+4 more|arXiv (Cornell University)|Dec 11, 2018

AI in cancer detection参考文献 18被引用 6

一句话总结

本研究评估了苹果公司CreateML机器学习框架在从组织病理学图像中分类结肠癌及预测KRAS突变状态方面的表现。该模型在检测结肠癌方面实现了98%的精确率和召回率，但在预测KRAS突变状态方面准确率仅为66%，表明其在癌症检测方面具有较强的诊断潜力，但在分子分层方面应用有限。

ABSTRACT

Colon cancer is the second leading cause of cancer-related death in the United States of America. Its prognosis has significantly improved with the advancement of targeted therapies based on underlying molecular changes. The KRAS mutation is one of the most frequent molecular alterations seen in colon cancer and its presence can affect treatment selection. We attempted to use Apple machine learning algorithms to diagnose colon cancer and predict the KRAS mutation status from histopathological images. We captured 250 colon cancer images and 250 benign colon tissue images. Half of colon cancer images were captured from KRAS mutation-positive tumors and another half from KRAS mutation-negative tumors. Next, we created Image Classifier Model using Apple CreateML machine learning module. The trained and validated model was able to successfully differentiate between colon cancer and benign colon tissue images with 98 % recall and 98 % precision. However, our model failed to reliably identify KRAS mutations, with the highest realized accuracy of 66 %. Although not yet perfected, in the near future Apple CreateML modules can be used in diagnostic smartphone-based applications and potentially alleviate shortages of medical professionals in understaffed parts of the world.

研究动机与目标

• 评估苹果公司CreateML框架在从组织病理学图像中检测结肠癌的表现。
• 评估该模型预测结肠癌患者KRAS突变状态的能力。
• 探索使用消费级机器学习工具在资源有限环境中实现医学诊断的可行性。
• 确定在有限数据集上训练的深度学习模型是否能在癌症检测和分子特征分析中达到临床相关准确率。

提出的方法

• 研究人员收集了250张结肠癌组织图像和250张良性结肠组织图像，其中KRAS突变阳性与阴性肿瘤数量相等。
• 对图像进行预处理，并使用苹果公司的CreateML机器学习模块训练图像分类器。
• 通过保留的测试集对模型进行验证，以评估分类性能。
• 为癌症检测和KRAS突变预测两项任务计算了精确率、召回率和准确率等性能指标。
• 采用标准的训练-验证-测试划分方法，评估模型在未见数据上的泛化能力。
• 评估该框架在利用消费级智能手机实现即时检测方面的潜力。

实验结果

研究问题

• RQ1 苹果公司的CreateML框架能否准确地从组织病理学图像中检测结肠癌？
• RQ2 同一模型在多大程度上能够预测结肠癌患者的KRAS突变状态？
• RQ3 使用相同影像数据，该模型在癌症检测方面的表现与分子预测表现相比如何？
• RQ4 消费级机器学习工具是否能在医学诊断背景下实现临床相关的准确率？
• RQ5 此类模型在低资源临床环境中部署的潜力如何？

主要发现

• 该模型在组织病理学图像中区分结肠癌与良性结肠组织时，精确率达到98%，召回率也达到98%。
• 该模型在预测KRAS突变状态方面的准确率最高仅为66%，表明其在该任务中可靠性较差。
• 该模型在癌症与非癌组织的二分类任务中表现优异，表明其在初步筛查中具有临床应用价值。
• 尽管在癌症检测方面表现优异，但该模型未能可靠识别KRAS突变，限制了其在指导靶向治疗中的应用。
• 结果表明，虽然CreateML可支持诊断应用，但在分子生物标志物预测方面仍需进一步优化。
• 本研究突显了基于智能手机的AI工具在医疗诊断中的潜力，尤其是在缺乏专科医生的地区。