[논문 리뷰] Google Auto ML versus Apple Create ML for Histopathologic Cancer Diagnosis; Which Algorithms Are Better?

Andrew Borkowski, Catherine P. Wilson외 5명|arXiv (Cornell University)|2019. 03. 19.

Radiomics and Machine Learning in Medical Imaging인용 수 5

한 줄 요약

이 연구는 Google AutoML와 Apple Create ML을 이용해 폐 및 대장 조직 슬라이드를 사용한 조직병리학적 암 진단을 비교한다. 두 플랫폼 모두 유의미한 통계적 차이 없이 높은 진단 정확도를 달성했지만, Apple Create ML은 macOS에서 로컬로 실행되는 반면 Google AutoML는 관련 비용이 발생하는 Google Cloud가 필요하므로 플랫폼 호환성과 인프라가 도구 선택의 핵심 차별 요소가 된다.

ABSTRACT

Artificial Intelligence is set to revolutionize multiple fields in the coming years. One subset of AI, machine learning, shows immense potential for application in a diverse set of medical specialties, including diagnostic pathology. In this study, we investigate the utility of the Apple Create ML and Google Cloud Auto ML, two machine learning platforms, in a variety of pathological scenarios involving lung and colon pathology. First, we evaluate the ability of the platforms to differentiate normal lung tissue from cancerous lung tissue. Also, the ability to accurately distinguish two subtypes of lung cancer (adenocarcinoma and squamous cell carcinoma) is examined and compared. Similarly, the ability of the two programs to differentiate colon adenocarcinoma from normal colon is assessed as is done with lung tissue. Also, cases of colon adenocarcinoma are evaluated for the presence or absence of a specific gene mutation known as KRAS. Finally, our last experiment examines the ability of the Apple and Google platforms to differentiate between adenocarcinomas of lung origin versus colon origin. In our trained models for lung and colon cancer diagnosis, both Apple and Google machine learning algorithms performed very well individually and with no statistically significant differences found between the two platforms. However, some critical factors set them apart. Apple Create ML can be used on local computers but is limited to an Apple ecosystem. Google Auto ML is not platform specific but runs only in Google Cloud with associated computational fees. In the end, both are excellent machine learning tools that have great potential in the field of diagnostic pathology, and which one to choose would depend on personal preference, programming experience, and available storage space.

연구 동기 및 목표

• Google AutoML와 Apple Create ML의 폐 및 대장 암을 조직병리학적 슬라이드에서 진단하는 성능을 평가하기 위해.
• 두 플랫폼이 정상 조직과 다양한 암 아형(예: 선암세포암과 평평세포암)을 구분하는 능력을 평가하기 위해.
• 두 플랫폼이 대장 선암세포암에서 KRAS 돌연변이를 탐지하는 능력을 검토하기 위해.
• 두 플랫폼이 폐 기원과 대장 기원의 선암세포암을 어떻게 구분하는지 정확도를 비교하기 위해.
• 사용성, 비용, 시스템 요구사항을 고려해 진단 병리학에서 실용적인 활용도가 더 높은 플랫폼을 판단하기 위해.

제안 방법

• 학습 및 테스트를 위해 폐 및 대장 조직 샘플의 전체 슬라이드 영상을 사용하였다.
• Google AutoML는 Google Cloud의 자동화된 머신러닝 프레임워크를 사용해 학습 및 배포하였다.
• Apple Create ML은 Core ML 프레임워크를 사용해 로컬 Apple 기기에서 학습 및 실행하였다.
• 정확도, 정밀도, 재현율, F1-스코어와 같은 표준 지표를 사용해 다중 분류 작업에서 모델 성능을 평가하였다.
• 분류 작업에는 다음과 같은 사례가 포함되었다: 정상 조직 대 암성 폐 조직, 선암세포암 대 평평세포암, 정상 조직 대 대장 선암세포암, KRAS 돌연변이 탐지, 폐 기원 대 대장 기원의 선암세포암.
• 두 플랫폼 간 모델 성능을 비교하기 위해 통계 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 Google AutoML와 Apple Create ML은 정상 폐 조직과 암성 폐 조직을 얼마나 정확하게 분류할 수 있는가?
• RQ2 두 플랫폼은 폐 조직에서 선암세포암과 평평세포암을 효과적으로 구분할 수 있는가?
• RQ3 각 플랫폼은 대장 선암세포암에서 KRAS 돌연변이 탐지 성능이 어떠한가?
• RQ4 두 플랫폼은 폐 기원과 대장 기원의 선암세포암을 얼마나 잘 구분하는가?
• RQ5 비용, 배포, 시스템 요구사항을 고려할 때 임상 병리학 진단 환경에서 어느 플랫폼이 더 뛰어난 실용적 활용도를 제공하는가?

주요 결과

• Google AutoML와 Apple Create ML은 정상 조직과 암성 폐 및 대장 조직을 분류하는 데 있어 높은 진단 정확도를 달성했으며, 두 플랫폼 간 통계적으로 유의미한 차이는 없었다.
• 모델들은 폐 조직에서 선암세포암과 평평세포암을 구분하는 데 강력한 성능을 보였으며, 두 플랫폼 간 결과가 유사했다.
• 두 플랫폼 모두 대장 선암세포암에서 KRAS 돌연변이 탐지에 높은 정확도를 보였지만, 요약에서는 정확한 수치가 기재되지 않았다.
• 두 플랫폼은 폐 기원과 대장 기원의 선암세포암을 동일한 수준으로 잘 구분했다.
• Apple Create ML은 클라우드 비용 없이 로컬 Apple 기기에서 사용할 수 있으나, Google AutoML는 Google Cloud가 필요하고 계산 비용이 발생하므로 플랫폼 종속성이 실용적 차이의 핵심 요소가 된다.