[논문 리뷰] Doctor AI: Predicting Clinical Events via Recurrent Neural Networks

Edward Choi, Mohammad Taha Bahadori외 3명|arXiv (Cornell University)|2015. 11. 18.

Machine Learning in Healthcare참고 문헌 56인용 수 252

한 줄 요약

Doctor AI는 종단간 전자 건강 기록(EHR) 데이터로부터 시간적 표현을 학습하는 순환 신경망(RNN) 기반 모델로, 다수의 환자 방문 간 미래 진단 및 약물 처방을 예측한다. 이 모델은 차등 진단 예측에서 79.58%의 recall@30을 달성하며, 유의미한 정확도 손실 없이 다양한 의료 기관 간 강력한 이식성(transferability)을 보여준다.

ABSTRACT

Leveraging large historical data in electronic health record (EHR), we developed Doctor AI, a generic predictive model that covers observed medical conditions and medication uses. Doctor AI is a temporal model using recurrent neural networks (RNN) and was developed and applied to longitudinal time stamped EHR data from 260K patients over 8 years. Encounter records (e.g. diagnosis codes, medication codes or procedure codes) were input to RNN to predict (all) the diagnosis and medication categories for a subsequent visit. Doctor AI assesses the history of patients to make multilabel predictions (one label for each diagnosis or medication category). Based on separate blind test set evaluation, Doctor AI can perform differential diagnosis with up to 79% recall@30, significantly higher than several baselines. Moreover, we demonstrate great generalizability of Doctor AI by adapting the resulting models from one institution to another without losing substantial accuracy.

연구 동기 및 목표

• 종단간 EHR 데이터를 활용하여 일반적이고 확장 가능한 임상 이벤트 예측 모델을 개발하기 위해.
• 이질적이고 예측 불가능한 임상 상황에서 다중 레이블 진단 및 약물 처방을 예측하는 데 도전하는 데.
• 더 큰 기관에서의 전이 학습을 통해 데이터가 적은 환경에서의 예측 성능을 향상시키기 위해.
• 다른 의료 시스템과 환자 집단 간 일반화 능력을 평가하기 위해.
• 전문가 검증을 통해 예측 결과의 임상적 관련성과 해석 가능성 평가를 위해.

제안 방법

• 모델은 각 방문을 ICD-9 진단 및 약물 코드로 표현한 두 층의 장기 단기 기억(LSTM) 네트워크를 사용하여 순차적 EHR 방문을 인코딩한다.
• 다중 레이블 예측을 위해 다음 방문에 대한 모든 가능한 진단 및 약물 카테고리에 대한 확률 분포를 출력한다.
• 수렴 속도 향상과 예측 정확도 향상을 위해 EHR 방문 시퀀스에서 학습된 스킵그램 임베딩을 사용해 RNN을 초기화한다.
• 대규모 데이터셋을 활용해 Sutter Health에서 사전 훈련하고, MIMIC-II와 같은 다른 기관의 작은 데이터셋에서 미세 조정함으로써 지식 전이를 구현한다.
• 시간 태그가 부여된 방문 시퀀스는 시간 이산화 없이 처리되어 시간 해상도를 유지하고 방문 시점 예측이 가능하다.
• 다중 레이블 분류를 위한 교차 엔트로피 손실과 방문 시점 예측를 위한 평균 제곱오차 손실을 사용해 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 RNN 기반 모델은 종단간 EHR 데이터로부터 환자의 병행 경로를 효과적으로 학습하여 미래의 진단 및 약물 처방을 예측할 수 있는가?
• RQ2 환자 방문 빈도와 의료 코드의 희귀성에 따라 모델 성능은 어떻게 변하는가?
• RQ3 한 기관에서 사전 훈련한 모델이 성능 저하를 최소한으로 하면서 다른 기관에 적응할 수 있는 정도는 어느 정도인가?
• RQ4 스킵그램 임베딩을 사용한 사전 훈련이 RNN 훈련 속도와 예측 정확도를 향상시키는가?
• RQ5 모델의 예측 결과는 임상적으로 의미가 있으며 인간 의사의 사고 방식과 유사한가?

주요 결과

• Doctor AI는 다중 레이블 진단 예측에서 79.58%의 recall@30을 달성하여 여러 기준 모델보다 유의미하게 뛰어난 성능을 보였다.
• 환자의 병력이 길수록 성능이 향상되었으며, 방문 수가 증가할수록 recall@30이 증가하여 만성 또는 복잡한 질환의 모델링이 향상됨을 시사했다.
• 모델의 일반화 능력이 뛰어났다: Sutter Health에서 사전 훈련한 모델을 MIMIC-II에 적용한 이식 학습으로 인해 작은 데이터셋에서 성능이 10% 이상 향상되었다.
• 자주 방문하는 환자(예: 고도의 공존 질환을 가진 환자)는 더 쉽게 예측되었고, Klinefelter 증후군과 같은 희귀 질환은 더 다양한 예측 결과로 나타나 주로 빈번히 관찰되는 진단으로 나타났다.
• 스킵그램 임베딩을 사용한 사전 훈련이 훈련 속도 향상과 최종 모델 정확도 향상에 기여했으며, 특히 데이터가 적은 환경에서 두드러졌다.
• 의료 전문가가 Doctor AI의 예측 결과가 임상적으로 의미가 있으며 평균 의사의 진단 행동을 모방하고 있음을 확인했다.