[논문 리뷰] Highrisk Prediction from Electronic Medical Records via Deep Attention Networks

You Jin Kim, Yun-Geun Lee외 4명|arXiv (Cornell University)|2017. 11. 30.

Machine Learning in Healthcare참고 문헌 17인용 수 20

한 줄 요약

이 논문은 심장질환 고위험 발병을 예측하기 위해 고혈압 환자의 심볼 기반 전자 의료 기록(ICD-10 및 약물 코드)만을 사용하는 딥 레이어드 어텐션 네트워크인 MeHPAN을 제안한다. 양방향 GRU(R-MeHPAN) 및 1D 컨볼루션(C-MeHPAN) 아키텍처를 사용하며, 다중 작업 학습과 어텐션 메커니즘을 통합하여 기존의 SVM 및 랜덤 포레스트보다 뛰어난 AUC(0.851)와 F1 점수(0.746)를 기록했으며, C-MeHPAN은 R-MeHPAN 대비 10배 빠른 학습 속도를 제공한다.

ABSTRACT

Predicting highrisk vascular diseases is a significant issue in the medical domain. Most predicting methods predict the prognosis of patients from pathological and radiological measurements, which are expensive and require much time to be analyzed. Here we propose deep attention models that predict the onset of the high risky vascular disease from symbolic medical histories sequence of hypertension patients such as ICD-10 and pharmacy codes only, Medical History-based Prediction using Attention Network (MeHPAN). We demonstrate two types of attention models based on 1) bidirectional gated recurrent unit (R-MeHPAN) and 2) 1D convolutional multilayer model (C-MeHPAN). Two MeHPAN models are evaluated on approximately 50,000 hypertension patients with respect to precision, recall, f1-measure and area under the curve (AUC). Experimental results show that our MeHPAN methods outperform standard classification models. Comparing two MeHPANs, R-MeHPAN provides more better discriminative capability with respect to all metrics while C-MeHPAN presents much shorter training time with competitive accuracy.

연구 동기 및 목표

• 전자 의료 기록(EMR)에서 유일하게 기호 기반의 의료 이력 시퀀스(ICD-10 코드 및 약물 코드)를 사용하여 고위험 혈관질환 발병을 예측하는 딥 러닝 모델을 개발하는 것.
• 장기적 환자 이력 내에서 중요한 진단 및 약물 시퀀스에 집중하기 위해 어텐션 메커니즘을 활용하여 예측 성능을 향상시키는 것.
• 예측 정확도와 학습 효율성 측면에서 R-MeHPAN(RNN 기반)과 C-MeHPAN(1D CNN 기반) 아키텍처를 비교하는 것.
• 실제 고혈압 환자 50,000명의 EMR 데이터를 대상으로 평가하여 임상 예측에서 흔한 불균형 데이터 시나리오에 초점을 맞추는 것.

제안 방법

• ICD-10 코드와 약물 코드의 임bedded 시퀀스를 사용하여 진단 이력 및 약물 이력 전용 모듈을 갖춘 이중 브랜치 어텐션 네트워크인 MeHPAN을 제안한다.
• R-MeHPAN에서는 양방향 게이트드 순환 유닛(GRUs)을 사용하여 시간 단계에 대한 어텐션을 적용함으로써 의료 이력 내 순차적 의존성을 모델링한다.
• C-MeHPAN에서는 1D 컨볼루션 레이어를 사용하여 순차적 데이터를 더 빠르고 병렬 처리 가능한 방식으로 처리하며, 비선형 변환을 위해 게이트드 선형 유닛(GLU)을 적용한다.
• 이중 출력 헤드를 갖는 다중 작업 학습을 적용: 이진 분류(고위험 대비 비고위험) 및 다중 분류(심혈관계, 뇌혈관, 또는 질병 없음).
• C-MeHPAN에 세 가지 어텐션 메커니즘을 구현: 시간 단계에 대한 합산, 후행 시간 강조를 위한 가중치 합산, 마지막 시간 단계 풀링을 통한 컨텍스트 벡터 생성.
• 방문일자 및 약물 일자에서 유도된 로그 변환된 지속 기간 시퀀스(DUR 및 MD_DUR)를 사용하여 질환의 시간적 진행을 인코딩한다.

실험 결과

연구 질문

• RQ1 심장질환 고위험 발병 예측에 있어, 기호 기반 의료 이력(ICD-10 및 약물 코드)만을 사용해 훈련된 딥 어텐션 네트워크가 기존의 전통적 기계 학습 모델보다 우수한 성능을 보일 수 있는가?
• RQ2 R-MeHPAN(GRU 기반)과 C-MeHPAN(1D CNN 기반) 아키텍처는 예측 성능 및 학습 효율성 측면에서 어떻게 비교되는가?
• RQ3 C-MeHPAN 아키텍처에서 다양한 어텐션 메커니즘 구현 방식(합산, 가중치 합산, 마지막 단계)이 모델 성능에 미치는 영향은 무엇인가?
• RQ4 다중 작업 학습이 EMR에서 고위험 혈관질환 예측의 일반화 능력과 오류 보정 능력 향상에 얼마나 기여하는가?

주요 결과

• R-MeHPAN은 모든 모델 중 최고의 AUC(0.851)와 F1 점수(0.746)를 기록했으며, SVM 및 랜덤 포레스트와 비교해 모든 지표에서 뛰어난 성능을 보였다.
• C-MeHPAN는 AUC 0.828(가중치 합산 어텐션) 및 F1 점수 0.702를 기록했으며, R-MeHPAN 대비 10배 빠른 학습 속도를 확보함에도 불구하고 경쟁 가능한 성능을 보였다.
• C-MeHPAN에서 가중치 합산 어텐션 방법이 정밀도, 재현율, F1 및 AUC 전반에서 가장 뛰어난 성능을 기록했으며, 합산 및 마지막 단계 풀링 방법을 모두 초월했다.
• SVM 및 랜덤 포레스트는 높은 정밀도를 보였지만 재현율이 매우 낮았으며(각각 0.022 및 0.437) 불균형 데이터에서 고위험 환자 탐지 능력이 열악함을 보였다.
• R-MeHPAN의 학습 시간은 65.5분이었고, C-MeHPAN는 가중치 합산 어텐션 방법을 사용해 7.08분 만에 학습을 완료하여 뚜렷한 속도 우위를 확보했다.
• 다중 작업 학습을 통해 이진 분류 및 다중 분류 헤드 간 오류 피드백이 가능해져 전체 모델의 강건성과 예측 정확도가 향상되었다.