[논문 리뷰] Diagnosis of Acute Myeloid Leukaemia Using Machine Learning

A. Angelakis, Ioanna Soulioti|arXiv (Cornell University)|2021. 08. 17.

Digital Imaging for Blood Diseases참고 문헌 79인용 수 5

한 줄 요약

이 연구는 26개의 annotation이 없는 유전자 프로브 세트와 나이를 사용하여 급성 호산구성 백혈병(AML)을 진단하는 CatBoost 기계학습 모델을 개발하였으며, 15개국에서 온 2,177명의 다중센터 데이터셋에서 99.94%의 정확도와 0.9996의 F1 스코어를 기록하였다. 기존의 접근 방식보다 AML와 관련이 없는 사전 문헌 기반 특징에 초점을 맞추어, 진단을 위한 새로운 분자 서명을 드러내었다.

ABSTRACT

We train a machine learning model on a dataset of 2177 individuals using as features 26 probe sets and their age in order to classify if someone has acute myeloid leukaemia or is healthy. The dataset is multicentric and consists of data from 27 organisations, 25 cities, 15 countries and 4 continents. The accuracy or our model is 99.94\% and its F1-score 0.9996. To the best of our knowledge the performance of our model is the best one in the literature, as regards the prediction of AML using similar or not data. Moreover, there has not been any bibliographic reference associated with acute myeloid leukaemia for the 26 probe sets we used as features in our model.

연구 동기 및 목표

• 최소한의 생물학적으로 관련 있는 특징을 사용하여 급성 호산구성 백혈병(AML)의 조기 진단을 위한 고정확도 기계학습 모델을 개발한다.
• 이전에 AML와 관련이 없는 것으로 알려지지 않은 유전자 발현 특징(프로브 세트)를 식별하여 잠재적인 새로운 생물학적 지표를 발견한다.
• 임상적으로 알려진 AML 예후와 관련성이 높은 나이를 예측 변수로 포함하여 모델 성능을 향상시킨다.
• 다양한 대륙에서 수집된 정제된 다중센터 유전자 발현 데이터셋을 기반으로 AML 분류에서 최신 기술 수준의 성능을 달성한다.
• 10겹 교차검증과 독립된 테스트 세트를 통해 모델의 강건성을 검증하여 다양한 인구 집단에 대한 일반화 능력을 확보한다.

제안 방법

• 두 단계의 특징 선택 절차를 적용하였다: 첫째, CatBoost의 예측 중요도 기반으로 상위 100개의 특징을 선별하였고, 둘째, 훈련 중 손실 함수 감소에 기여하는 정도에 따라 상위 100개의 특징을 선별하였다.
• 이 두 특징 세트의 교집합(34개 프로브 세트)을 계산하여 예측 능력이 높고 모델 최적화에 기여도가 큰 특징을 유지하였다.
• 34개 프로브 세트 중 문헌에서 AML와의 연관성이 기록된 것은 제외하여 최종 모델에 26개만 유지하였으며, 이는 선택된 특징의 신규성 확보를 위해 필수적이었다.
• 최종 데이터셋(2,177명)을 대상으로 100회 반복, 깊이 11, 학습률 0.1로 CatBoost 분류기를 훈련하였으며, 훈련에 80%를, 검증에 20%를 할당하였다.
• 하이퍼파라미터 튜닝 및 모델 안정성과 일반화 성능 평가를 위해 10겹 교차검증을 적용하였다.
• 클래스 불균형 문제를 해결하기 위해 CatBoost의 내장된 가중치 균형 기능을 사용하여 소수 클래스(건강한 개인)의 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 26개의 유전자 프로브 세트와 나이만을 사용하여 이전 문헌에서 AML와 관련이 없는 특징을 포함한 기계학습 모델이 AML 진단에서 거의 완벽한 정확도를 달성할 수 있는가?
• RQ2 예측 중요도와 손실 함수 감소 기준을 이중으로 적용한 특징 선택이 단일 기준 선택보다 더 뛰어난 진단 성능을 낼 수 있는가?
• RQ3 신규 유전자 발현 특징과 함께 나이를 특징으로 포함할 경우, 기계학습 모델에서 AML 진단에 있어 유의미하게 기여하는가?
• RQ4 2,177명의 다중센터 국제 데이터셋에서 훈련된 모델이 다양한 인구 집단과 플랫폼에서 잘 일반화되는가?
• RQ5 오직 신규로 확인된, annotation이 없는 프로브 세트만을 사용한 모델의 AML 진단 성능는 어떠한가? 기존 문헌과 비교했을 때 어떤가?

주요 결과

• 최종 CatBoost 모델은 테스트 세트에서 정확도 99.94%와 F1 스코어 0.9996을 기록하여 뛰어난 진단 성능를 입증하였다.
• 모델은 높은 특이도(1.0000)와 민감도(1.0000)를 유지하여 AML 및 건강한 케이스를 거의 완벽하게 식별함을 나타냈다.
• AUC 스코어는 1.0000에 도달하여 검증 세트에서 AML 환자와 건강한 개인 간의 완벽한 분류 능력을 보였다.
• 최종 모델에 포함된 26개의 프로브 세트는 문헌상 AML와의 연관성이 없었으며, 이는 AML 진단을 위한 새로운 분자 서명이 발견되었음을 시사한다.
• 나이를 특징으로 포함함으로써 모델 성능에 유의미한 기여가 있었으며, 이는 유일한 임상적으로 annotation된 변수임에도 불구하고 성과 향상에 기여했다.
• 저자들의 문헌 검토에 따르면, 이 모델은 유사하거나 다른 데이터 유형을 사용한 이전에 보고된 모든 AML 진단 모델보다 뛰어난 성능을 보였다.