[논문 리뷰] Patient trajectory prediction in the Mimic-III dataset, challenges and pitfalls

José F. Rodrigues, Gabriel Spadon외 2명|arXiv (Cornell University)|2019. 09. 10.

Machine Learning in Healthcare참고 문헌 25인용 수 7

한 줄 요약

이 논문은 Mimic-III 데이터셋에서 환자의 병력 예측을 위해 병렬 이중방향 최소 게이팅 순환 단위(MGRUs)를 사용하는 딥러닝 모델인 LIG-Doctor를 제안한다. ICD-9 인코딩을 덜 세분화된 HCUP-CCS로 변환하여 저카디널리티 및 높은 데이터 세분성 문제를 완화함으로써 Recall@k에서 최신 기준 성능을 달성한다.

ABSTRACT

Automated medical prognosis has gained interest as artificial intelligence evolves and the potential for computer-aided medicine becomes evident. Nevertheless, it is challenging to design an effective system that, given a patient's medical history, is able to predict probable future conditions. Previous works, mostly carried out over private datasets, have tackled the problem by using artificial neural network architectures that cannot deal with low-cardinality datasets, or by means of non-generalizable inference approaches. We introduce a Deep Learning architecture whose design results from an intensive experimental process. The final architecture is based on two parallel Minimal Gated Recurrent Unit networks working in bi-directional manner, which was extensively tested with the open-access Mimic-III dataset. Our results demonstrate significant improvements in automated medical prognosis, as measured with Recall@k. We summarize our experience as a set of relevant insights for the design of Deep Learning architectures. Our work improves the performance of computer-aided medicine and can serve as a guide in designing artificial neural networks used in prediction tasks.

연구 동기 및 목표

• 장기적인 전자건강기록(EHR)을 기반으로 미래의 환자 진료를 딥러닝을 통해 예측하는 문제를 해결하기 위해.
• Mimic-III와 같이 저카디널리티이면서 높은 세분성 특성을 지닌 데이터셋에서 기존 모델이 실패하는 한계를 극복하기 위해.
• 임상 환경에서 시퀀스-투-시퀀스 예측을 위한 효과적인 아키텍처 선택 및 하이퍼파라미터 설정을 규명하기 위해.
• 공개 데이터를 활용한 환자 병력 예측을 위한 재현 가능하고 오픈소스 기반의 방법론을 제공하기 위해.
• 향후 연구를 안내하기 위해 딥러닝 모델을 임상 예후 예측에 설계할 때의 함정과 최선의 실천 방법을 규명하기 위해.

제안 방법

• Mimic-III의 ICD-9 코드를 HCUP-CCS 분류 체계를 사용해 전처리하여 세분성 수준을 낮추고 모델의 일반화 능력을 향상시킨다.
• 시간적 의존성을 효율적으로 포착하기 위해 최소 게이팅 순환 단위(MGRUs)를 사용한 이중분지형 이중방향 아키텍처를 설계한다.
• 시퀀스-투-시퀀스 목표로 모델을 훈련시키며, 주요 평가 지표로 Recall@k를 최적화한다.
• LSTM, GRU, MGRU 등 다양한 RNN 변종과 아키텍처 구성 요소를 광범위하게 비교하여 최적의 성능을 도출한다.
• 오버피팅을 방지하기 위해 드롭아웃, 학습률 스케줄링, 조기 정지와 같은 표준 딥러닝 기법을 적용한다.
• 동일한 설정과 코드를 사용하여 Choi 등(2016)과 같은 최신 기준 모델과 결과를 검증한다.

실험 결과

연구 질문

• RQ1 LSTM, GRU, MGRU와 같은 다양한 RNN 아키텍처는 저카디널리티, 고세분성 특성을 지닌 Mimic-III 데이터셋에서 어떻게 성능을 내는가?
• RQ2 RNN에 다중층을 쌓는 것이 환자 병력 예측 성능 향상에 기여하는가?
• RQ3 더 적은 세분성 수준을 지닌 질병 인코딩 체계(HCUP-CCS)를 사용할 경우, 원시 ICD-9 코드 대비 성능 향상이 뚜렷하게 이루어지는가?
• RQ4 특히 게이팅 복잡도 측면에서 어떤 아키텍처 선택이 임상 시퀀스 예측에서 최고의 성능을 낳는가?
• RQ5 제안된 모델은 동일한 벤치마크에서 기존 최신 기준 방법들과 비교해 Recall@k 측면에서 어떻게 성능을 내는가?

주요 결과

• MGRU 기반 모델은 동일한 설정과 평가 지표 하에서 기존 최신 기준 모델, 특히 Choi 등(2016)을 초월하는 성능을 보였다.
• RNN에 다중층을 쌓는 것은 성능을 떨어뜨리는 결과를 가져왔으며, 이에 따라 최적의 성능을 얻기 위해 단일층 아키텍처를 채택하였다.
• 더 많은 게이팅 요소를 가진 복잡한 변종보다도 간단한 MGRU 셀이 동일하거나 더 우수한 성능을 보였으며, 이는 게이팅의 필요성에 대한 이론적 가정을 도전하는 결과였다.
• HCUP-CCS 인코딩을 사용함으로써 원시 ICD-9 대비 모델 성능이 뚜렷이 향상되었으며, Mimic-III의 규모를 감안할 때 ICD-9는 학습에 효과적이지 않게 너무 세분화되어 있음을 확인했다.
• 병렬 이중방향 MGRU 설계가 매우 효과적인 것으로 나타났으며, 이는 더 전문화된 병렬 분지 구조로의 확장 가능성에 대한 잠재력을 시사한다.
• 본 연구는 저카디널리티 데이터에서 고도로 복잡한 모델이 반드시 더 좋은 성능을 내는 것은 아니며, 특히 데이터 카디널리티가 낮을 경우 임상 시퀀스 모델링에서 성능 향상에 기여하지 않는다는 점을 강조한다.