[논문 리뷰] Exploiting Convolutional Neural Network for Risk Prediction with Medical Feature Embedding

Zhengping Che, Yu Cheng외 2명|arXiv (Cornell University)|2017. 01. 25.

Machine Learning in Healthcare참고 문헌 10인용 수 39

한 줄 요약

이 논문은 전자 건강 기록(EHR)에서 위험 예측을 향상시키기 위해 학습된 의료 특징 임베딩을 통합한 컨볼루션 신경망(CNN) 모델을 제안한다. 의료 이벤트를 워드2벡 스타일의 방법으로 밀도 벡터 표현으로 변환하고, 시간적 순서에 따라 1D 컨볼루션을 적용함으로써 국소적이고 다중 척도의 시간적 종속성을 포착한다. 이는 당뇨병 및 심부전 예측에서 최신 기술 수준의 성능을 달성하며, 특히 조기 진단 시나리오에서 뛰어난 성능을 보인다.

ABSTRACT

The widespread availability of electronic health records (EHRs) promises to usher in the era of personalized medicine. However, the problem of extracting useful clinical representations from longitudinal EHR data remains challenging. In this paper, we explore deep neural network models with learned medical feature embedding to deal with the problems of high dimensionality and temporality. Specifically, we use a multi-layer convolutional neural network (CNN) to parameterize the model and is thus able to capture complex non-linear longitudinal evolution of EHRs. Our model can effectively capture local/short temporal dependency in EHRs, which is beneficial for risk prediction. To account for high dimensionality, we use the embedding medical features in the CNN model which hold the natural medical concepts. Our initial experiments produce promising results and demonstrate the effectiveness of both the medical feature embedding and the proposed convolutional neural network in risk prediction on cohorts of congestive heart failure and diabetes patients compared with several strong baselines.

연구 동기 및 목표

• 이질적이고 비정규적이며 노이즈가 많은 장기적 EHR 데이터로부터 의미 있는 임상 표현을 추출하는 도전 과제를 해결한다.
• 저차원의 맥락 인식 의료 특징 임베딩을 학습하여 EHR의 고차원성과 시간적 비정규성을 극복한다.
• 딥 러닝을 활용해 당뇨병 및 심부전과 같은 만성질환의 위험 예측 성능을 향상시킨다.
• 최소한의 관찰 창을 가진 시간적 종속성을 모델링하여 조기 위험 예측을 가능하게 한다.
• 학습된 임베딩이 원시 또는 무작위 임베딩보다 베이스라인 및 딥 러닝 모델에서 우수한 성능을 보임을 입증한다.

제안 방법

• EHR 순서에서 워드2벡의 연속 백업-오브-워즈(CBOW) 변종을 사용해 의료 특징 임베딩을 학습하며, 각 의료 이벤트를 '단어'로 간주한다.
• 각 환자의 EHR을 크기 $ T_p \times D $ 의 시간적 임베딩 행렬로 표현하며, 여기서 $ T_p $ 는 이벤트 수이고 $ D $ 는 임베딩 차원이다.
• 다양한 크기의 1D 컨볼루션 필터(예: 2, 3)를 시간 차원에 따라 적용하여 국소적이고 다중 척도의 시간적 종속성을 포착한다.
• 시간 차원에 대해 최대 풀링을 적용하여 고정 길이의 벡터 표현을 생성함으로써, 기록 길이가 다른 환자들 간의 일반화를 가능하게 한다.
• 학습된 임베딩을 완전 연결 소프트맥스 레이어와 조합하여 질병 위험에 대한 엔드 투 엔드 이진 분류를 수행한다.
• CNN 학습 중 고정 임베딩과 공동 미세조정된 임베딩을 평가하여 후속 작업에 대한 적응 가능성 여부를 분석한다.

실험 결과

연구 질문

• RQ1 학습된 의료 특징 임베딩이 원시 또는 무작위 임베딩보다 EHR 데이터에서 위험 예측 성능을 향상시키는가?
• RQ2 1D CNN 모델이 장기적 EHR 데이터에서 국소적이고 다중 척도의 시간적 종속성을 얼마나 잘 포착할 수 있는가?
• RQ3 제한된 역사적 데이터만 존재할 경우, 제안된 프레임워크가 조기 위험 예측에 얼마나 효과적인가?
• RQ4 의료 맥락 인식 임베딩의 통합이 다양한 기계 학습 베이스라인(예: 로지스틱 회귀, SVM, 랜덤 포레스트)에서 모델 성능을 향상시키는가?
• RQ5 학습된 임베딩의 집계 전략(평균, 합, 최대)이 후속 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• 학습된 의료 특징 임베딩을 통합한 제안된 CNN 모델은 심부문 예측 과제에서 AUROC 0.9289를 기록하여 모든 베이스라인을 압도적으로 뛰어넘었다.
• 당뇨병 예측의 경우, W2v-Sum 임베딩 전략을 사용해 AUROC 0.9802를 달성했으며, 원시 백업-오브-워즈 특징을 사용한 최고의 베이스라인(AUROC 0.9681)을 초월했다.
• 조기 예측 설정에서 모델은 강력한 성능 유지를 보였다: 180일의 보류 기간이 있는 당뇨병 예측에서 정확도 92.77%와 AUROC 0.9716을 기록했다.
• 학습된 임베딩은 로지스틱 회귀 및 SVM에서 특히 성능 향상을 이끌었지만, 랜덤 포레스트의 이산적 특징 선택 메커니즘으로 인해 영향이 미미했다.
• 학습된 임베딩과 다중 척도 컨볼루션 필터의 조합은 시간 모델링을 크게 향상시켰으며, W2v-Sum 전략이 심부전 예측에서 가장 높은 F1 스코어 0.8056을 기록했다.
• 단지 90일의 전진진단 데이터만으로도 모델은 심부전 예측에서 정확도 83.29%와 AUROC 0.8889를 기록하여 조기 단계 예측에서 뛰어난 강건성을 입증했다.