[论文解读] Google Auto ML versus Apple Create ML for Histopathologic Cancer Diagnosis; Which Algorithms Are Better?

Andrew Borkowski, Catherine P. Wilson+5 more|arXiv (Cornell University)|Mar 19, 2019

Radiomics and Machine Learning in Medical Imaging被引用 5

一句话总结

本研究比较了 Google AutoML 与 Apple Create ML 在使用肺部和结肠组织切片进行组织病理学癌症诊断中的表现。两个平台均实现了高诊断准确率，且两者之间无显著统计学差异，但 Apple Create ML 可在 macOS 本地运行，而 Google AutoML 需要 Google Cloud 支持并产生相关费用，因此平台兼容性与基础设施成为工具选择的关键差异因素。

ABSTRACT

Artificial Intelligence is set to revolutionize multiple fields in the coming years. One subset of AI, machine learning, shows immense potential for application in a diverse set of medical specialties, including diagnostic pathology. In this study, we investigate the utility of the Apple Create ML and Google Cloud Auto ML, two machine learning platforms, in a variety of pathological scenarios involving lung and colon pathology. First, we evaluate the ability of the platforms to differentiate normal lung tissue from cancerous lung tissue. Also, the ability to accurately distinguish two subtypes of lung cancer (adenocarcinoma and squamous cell carcinoma) is examined and compared. Similarly, the ability of the two programs to differentiate colon adenocarcinoma from normal colon is assessed as is done with lung tissue. Also, cases of colon adenocarcinoma are evaluated for the presence or absence of a specific gene mutation known as KRAS. Finally, our last experiment examines the ability of the Apple and Google platforms to differentiate between adenocarcinomas of lung origin versus colon origin. In our trained models for lung and colon cancer diagnosis, both Apple and Google machine learning algorithms performed very well individually and with no statistically significant differences found between the two platforms. However, some critical factors set them apart. Apple Create ML can be used on local computers but is limited to an Apple ecosystem. Google Auto ML is not platform specific but runs only in Google Cloud with associated computational fees. In the end, both are excellent machine learning tools that have great potential in the field of diagnostic pathology, and which one to choose would depend on personal preference, programming experience, and available storage space.

研究动机与目标

• 评估 Google AutoML 与 Apple Create ML 在基于组织病理学切片诊断肺癌与结肠癌方面的性能。
• 评估两个平台在区分正常组织与各种癌症亚型（包括腺癌和鳞状细胞癌）方面的能力。
• 评估其在结肠腺癌中检测 KRAS 突变的能力。
• 比较两者在区分肺源性腺癌与结肠源性腺癌方面的准确率。
• 基于可用性、成本与系统需求，确定哪个平台在诊断病理学中具有更好的实际应用价值。

提出的方法

• 本研究使用全切片图像对肺部与结肠组织样本进行机器学习模型的训练与测试。
• Google AutoML 使用 Google Cloud 的自动化机器学习框架进行训练与部署。
• Apple Create ML 在本地 Apple 设备上使用 Core ML 框架进行训练与执行。
• 通过准确率、精确率、召回率与 F1 分数等标准指标对模型在多个分类任务中的表现进行评估。
• 分类任务包括：正常组织与癌变肺组织、腺癌与鳞状细胞癌、正常组织与结肠腺癌、KRAS 突变检测，以及肺源性与结肠源性腺癌起源的区分。
• 进行了统计分析以比较两个平台之间的模型性能。

实验结果

研究问题

• RQ1 Google AutoML 与 Apple Create ML 在分类正常肺组织与癌变肺组织方面准确度如何？
• RQ2 两个平台是否能有效区分肺组织中的腺癌与鳞状细胞癌？
• RQ3 各平台在检测结肠腺癌中 KRAS 突变方面的表现如何？
• RQ4 这些平台在区分肺源性与结肠源性腺癌方面表现如何？
• RQ5 在临床诊断病理学环境中，综合考虑成本、部署方式与系统需求，哪个平台具有更优的实际应用价值？

主要发现

• Google AutoML 与 Apple Create ML 在分类正常与癌变肺组织及结肠组织方面均实现了高诊断准确率，且两个平台之间无显著统计学差异。
• 两个平台在区分肺组织中的腺癌与鳞状细胞癌方面表现优异，结果相近。
• 两个平台在检测结肠腺癌中的 KRAS 突变方面均表现出高准确率，但摘要中未提供具体数值。
• 两个平台在区分肺源性与结肠源性腺癌方面的表现相当。
• Apple Create ML 可在本地 Apple 设备上使用，无需云服务费用，而 Google AutoML 需要 Google Cloud 支持并产生计算费用，因此平台依赖性成为实际应用中的关键差异。