[논문 리뷰] A Bootstrap Machine Learning Approach to Identify Rare Disease Patients from Electronic Health Records

Ravi Garg, Shu Dong외 2명|arXiv (Cornell University)|2016. 09. 06.

Machine Learning in Healthcare참고 문헌 31인용 수 13

한 줄 요약

이 논문은 전자 건강 기록(EHR)에서 희귀 질환 환자—특히 심장 아밀로이드증 환자—를 식별하기 위해 부트스트랩 기반 기계학습 접근법을 제안한다. 심장내과 전문의의 참여로 정제된 73명의 확진 사례와 197명의 음성 대조군을 기반으로 한 골드 표준 데이터를 사용하여, 앙상블 분류기로 높은 F1 스코어 0.98를 달성하였으며, 연령, 심장 정지, 고혈압과 같은 주요 예측 요인을 규명하였다.

ABSTRACT

Rare diseases are very difficult to identify among large number of other possible diagnoses. Better availability of patient data and improvement in machine learning algorithms empower us to tackle this problem computationally. In this paper, we target one such rare disease - cardiac amyloidosis. We aim to automate the process of identifying potential cardiac amyloidosis patients with the help of machine learning algorithms and also learn most predictive factors. With the help of experienced cardiologists, we prepared a gold standard with 73 positive (cardiac amyloidosis) and 197 negative instances. We achieved high average cross-validation F1 score of 0.98 using an ensemble machine learning classifier. Some of the predictive variables were: Age and Diagnosis of cardiac arrest, chest pain, congestive heart failure, hypertension, prim open angle glaucoma, and shoulder arthritis. Further studies are needed to validate the accuracy of the system across an entire health system and its generalizability for other diseases.

연구 동기 및 목표

• 대규모 전자 건강 기록에서 희귀 질환, 특히 심장 아밀로이드증 환자를 식별하는 데 도전하는 문제를 해결한다.
• 희귀 질환 탐지에서 데이터 부족과 레이블링 어려움을 극복하기 위해 전문가가 검증한 골드 표준 데이터를 활용한다.
• EHR에서 잠재적인 심장 아밀로이드증 환자를 자동으로 식별할 수 있는 기계학습 파이프라인을 개발한다.
• 해석 가능한 기계학습을 활용하여 심장 아밀로이드증과 관련된 가장 예측력 있는 임상 특징을 발견하고 검증한다.
• 제한된 레이블된 예제가 있는 저자원 환경에서 부트스트랩 학습 접근법의 타당성과 성능을 평가한다.

제안 방법

• 경험이 풍부한 심장내과 전문의와의 협력으로 73건의 확진 심장 아밀로이드증 사례와 197건의 음성 대조군으로 구성된 골드 표준 데이터셋을 구축하였다.
• 불균형 데이터에서의 일반화 및 예측 성능 향상을 위해 앙상블 기계학습 분류기를 활용하였다.
• 연령, 심장 정지, 흉통, 고혈압 및 녹내장과 같은 공존 질환과 같은 임상적 관련성과 통계적 유의성에 기반해 예측 변수를 선정하였다.
• 모델 성능 평가를 위해 교차 검증을 적용하였으며, 정밀도와 재현율의 균형을 고려해 주로 F1 스코어를 주요 지표로 삼았다.
• 제한된 레이블된 데이터에도 불구하고 모델의 안정성과 특징 선택을 향상시키기 위해 반복적인 부트스트랩 접근법을 적용하였다.
• 예측에 기여하는 가장 영향력 있는 임상 변수를 식별하고 보고함으로써 해석 가능성에 중점을 두었다.

실험 결과

연구 질문

• RQ1 제한된 레이블된 데이터가 있는 상황에서 기계학습 모델이 전자 건강 기록에서 희귀 질환, 예를 들어 심장 아밀로이드증 환자를 효과적으로 식별할 수 있는가?
• RQ2 EHR 내에서 심장 아밀로이드증에 가장 예측력 있는 임상 변수는 무엇이며, 이들은 모델 성능에 어떻게 기여하는가?
• RQ3 앙상블 학습 접근법은 정밀도와 재현율을 모두 높이는 데 있어 단일 모델 기반 기준 대비 어떻게 비교되는가?
• RQ4 소수의 전문가가 레이블링한 사례만 존재할 경우 부트스트랩 학습 전략이 모델 성능을 얼마나 향상시킬 수 있는가?
• RQ5 모델의 성능은 다양한 건강 시스템 데이터 소스 간에서 얼마나 일반화 가능한가? 실제 구현 시 제약 사항은 무엇인가?

주요 결과

• 앙상블 기계학습 분류기는 평균 교차 검증 F1 스코어 0.98을 달성하여 심장 아밀로이드증 환자를 식별하는 데 강력한 성능을 보였다.
• 주요 예측 변수로는 연령, 심장 정지 진단, 흉통, 심부전, 고혈압, 원추성 각막 협착증(prim open angle glaucoma)이 포함되었다.
• 모델는 높은 정밀도와 재현율을 보이며, 잠재적 가짜 양성 및 가짜 음성 결과를 효과적으로 줄이는 데 기여하였다.
• 부트스트랩 접근법을 통해 소규모 전문가 레이블링 데이터셋에서도 견고한 학습이 가능했으며, 모델의 안정성과 특징 선택이 향상되었다.
• 어깨 관절염 및 녹내장과 같은 공존 질환을 예측 요소로 포함시킴으로써, 희귀 질환 탐지에서 광범위한 임상적 맥락의 중요성을 강조하였다.
• 결과적으로 기계학습은 EHR 내 희귀 질환의 조기 탐지에 상당한 지원을 제공할 수 있음을 시사하지만, 다양한 건강 시스템에서의 검증이 필요하다.