[논문 리뷰] Apple Machine Learning Algorithms Successfully Detect Colon Cancer but Fail to Predict KRAS Mutation Status

Andrew Borkowski, Catherine P. Wilson외 4명|arXiv (Cornell University)|2018. 12. 11.

AI in cancer detection참고 문헌 18인용 수 6

한 줄 요약

이 연구는 병리학적 영상에서 대장암을 진단하고 KRAS 돌연변이 상태를 예측하는 데 애플의 CreateML 기계학습 프레임워크를 평가한다. 모델은 대장암 검출에 대해 98%의 정밀도와 재현율을 기록했지만, KRAS 돌연변이 예측에 대해서는 오직 66%의 정확도를 보였으며, 이는 암 진단에 강력한 임상적 잠재력을 지닌 반면 분자적 분류에선 제한된 활용도를 가짐을 시사한다.

ABSTRACT

Colon cancer is the second leading cause of cancer-related death in the United States of America. Its prognosis has significantly improved with the advancement of targeted therapies based on underlying molecular changes. The KRAS mutation is one of the most frequent molecular alterations seen in colon cancer and its presence can affect treatment selection. We attempted to use Apple machine learning algorithms to diagnose colon cancer and predict the KRAS mutation status from histopathological images. We captured 250 colon cancer images and 250 benign colon tissue images. Half of colon cancer images were captured from KRAS mutation-positive tumors and another half from KRAS mutation-negative tumors. Next, we created Image Classifier Model using Apple CreateML machine learning module. The trained and validated model was able to successfully differentiate between colon cancer and benign colon tissue images with 98 % recall and 98 % precision. However, our model failed to reliably identify KRAS mutations, with the highest realized accuracy of 66 %. Although not yet perfected, in the near future Apple CreateML modules can be used in diagnostic smartphone-based applications and potentially alleviate shortages of medical professionals in understaffed parts of the world.

연구 동기 및 목표

• 애플의 CreateML 프레임워크가 병리학적 영상에서 대장암을 진단하는 데 성능을 얼마나 잘 보이는지 평가하기 위해.
• 모델이 대장암 환자에서 KRAS 돌연변이 상태를 예측할 수 있는 능력을 평가하기 위해.
• 자원이 제한된 환경에서 소비자 수준의 기계학습 도구를 의료 진단에 활용할 수 있는지 가능성 탐색하기 위해.
• 제한된 데이터셋으로 훈련된 딥러닝 모델이 암 진단 및 분자 프로파일링에서 임상적으로 의미 있는 정확도를 달성할 수 있는지 판단하기 위해.

제안 방법

• 연구진은 대장암 조직 영상 250장과 양성 대장 조직 영상 250장을 수집하였으며, KRAS 돌연변이 양성 및 음성 종양 간 균형을 유지하였다.
• 이미지는 사전 처리되어 애플의 CreateML 기계학습 모듈을 사용해 이미지 분류기로 훈련되었다.
• 분류 성능를 평가하기 위해 보류된 테스트 세트를 사용해 모델을 검증하였다.
• 암 검출 및 KRAS 돌연변이 예측 작업에 대해 정밀도, 재현율, 정확도와 같은 성능 지표를 계산하였다.
• 모델의 일반화 능력을 평가하기 위해 표준적인 훈련-검증-테스트 분할을 사용하였다.
• 소비자용 스마트폰을 활용한 현장 진단 가능성을 고려해 프레임워크를 평가하였다.

실험 결과

연구 질문

• RQ1 애플의 CreateML 프레임워크는 병리학적 영상에서 대장암을 정확하게 감지할 수 있는가?
• RQ2 동일한 모델이 대장암 환자에서 KRAS 돌연변이 상태를 어느 정도까지 예측할 수 있는가?
• RQ3 동일한 영상 데이터를 사용할 때 암 검출 성능와 분자 예측 성능는 어떻게 비교되는가?
• RQ4 소비자 수준의 기계학습 도구가 의료 진단 환경에서 임상적으로 의미 있는 정확도를 달성할 수 있는가?
• RQ5 이러한 모델을 자원이 부족한 임상 환경에 구현할 잠재력은 무엇인가?

주요 결과

• 모델은 병리학적 영상에서 대장암 조직과 양성 대장 조직을 구분하는 데 98%의 정밀도와 98%의 재현율을 기록하였다.
• KRAS 돌연변이 상태 예측에 대한 모델의 정확도는 최대 66%에 그쳐 이 작업에 대해 낮은 신뢰성을 보였다.
• 암 대비 비암 조직의 이진 분류에서 뛰어난 성능을 보이며 초진 스크리닝에 임상적 유용성을 시사하였다.
• 암 검출에서 높은 성능를 보였음에도 불구하고, KRAS 돌연변이를 신뢰성 있게 식별하지 못해 표적 치료 지침에 활용에 제한이 있었다.
• 결과적으로 CreateML는 진단 응용에 기여할 수 있지만, 분자 생물표지자 예측을 위해 추가 보완이 필요하다는 점을 시사한다.
• 이 연구는 스마트폰 기반 AI 도구가 전문의 접근이 어려운 지역에서 의료 진단을 지원하는 데 잠재력을 지닌다는 점을 강조한다.