[논문 리뷰] Unsupervised Representation for EHR Signals and Codes as Patient Status Vector

Sajad Darabi, Mohammad Kachuee외 1명|arXiv (Cornell University)|2019. 10. 04.

Machine Learning in Healthcare참고 문헌 28인용 수 4

한 줄 요약

이 논문은 eICU 데이터셋에서 단기 및 장기 입원 기간을 모두 고려할 때 사망 및 재입원 예측의 일반화 능력을 향상시키기 위해, 자동에코드를 사용하여 임상 코드와 생체 신호를 조합하여 환자 상태 벡터(PSV)를 생성하는 이단계 비지도 표현 학습 방법을 제안한다. 이 방법은 단일 방문 및 다중 방문 환자 데이터를 모두 활용하여 기존 방법보다 우수한 성능을 달성한다.

ABSTRACT

Effective modeling of electronic health records presents many challenges as they contain large amounts of irregularity most of which are due to the varying procedures and diagnosis a patient may have. Despite the recent progress in machine learning, unsupervised learning remains largely at open, especially in the healthcare domain. In this work, we present a two-step unsupervised representation learning scheme to summarize the multi-modal clinical time series consisting of signals and medical codes into a patient status vector. First, an auto-encoder step is used to reduce sparse medical codes and clinical time series into a distributed representation. Subsequently, the concatenation of the distributed representations is further fine-tuned using a forecasting task. We evaluate the usefulness of the representation on two downstream tasks: mortality and readmission. Our proposed method shows improved generalization performance for both short duration ICU visits and long duration ICU visits.

연구 동기 및 목표

• EHR 모델링에서 레이블이 부족한 문제를 해결하기 위해 비지도 표현 학습 방법을 개발한다.
• 임상 코드와 생체 신호 등 다중 모odal EHR 데이터를 통합하여 일관된 환자 상태 벡터를 생성한다.
• 단기 및 장기 입원 기간 동안 다른 임상 역학을 보이는 환자들에게도 일반화 능력을 향상시킨다.
• 예측 성능 향상을 위해 사전 훈련 단계에서 단일 방문 및 다중 방문 환자 데이터를 모두 활용한다.
• 다양한 EHR 데이터에서 비지도 사전 훈련을 통해 레이블이 필요한 데이터 의존도를 줄이고 사망 및 재입원 예측 정확도를 향상시킬 수 있음을 입증한다.

제안 방법

• 이중 단계 비지도 훈련 파이프라인을 사용한다: 첫 번째 단계에서 자동에코드가 희소한 임상 코드와 시계열 생체 신호를 분포 표현으로 압축한다.
• 자동에코드에서 생성된 표현을 결합한 후, 순차적 의존성을 포착하기 위해 예측 자동에코드 작업을 통해 미세조정한다.
• 단일 방문 자동에코드 단계를 통해 개별 입원 기간에서 학습하고, 다중 방문 예측 단계를 통해 장기적 패턴을 모델링한다.
• 최종 환자 상태 벡터(PSV)는 코드 및 신호 임베딩을 결합하여 형성되며, 후속 분류 작업에 활용할 수 있다.
• 모델은 비지도 방식으로 사전 훈련된 후, 사망 및 재입원 예측 작업에 대한 미세조정을 위해 동결된다.
• 해당 방법은 eICU 데이터셋에서 평가되었으며, 입력 특징으로 주기적인 생체 신호와 ICD-9 코드를 사용한다.

실험 결과

연구 질문

• RQ1 이중 단계 비지도 학습 프레임워크가 임상 코드와 생체 신호를 통합된 환자 상태 벡터로 효과적으로 조합할 수 있는가?
• RQ2 단일 방문 및 다중 방문 ICU 데이터에서의 사전 훈련이 사망 및 재입원 예측 성능 향상에 기여하는가?
• RQ3 단기 및 장기 입원 기간 동안 다른 임상 역학을 보이는 환자들에게서 제안된 방법의 일반화 능력은 어떠한가?
• RQ4 코드 전용 또는 신호 전용 표현은 통합 모델링 대비 성능에 얼마나 큰 제한을 끼치는가?
• RQ5 비지도 사전 훈련이 고비용 레이블 데이터 의존도를 줄이고 EHR 분석에서 예측 정확도를 향상시킬 수 있는가?

주요 결과

• 코드 및 신호 표현을 모두 포함한 PSV 모델은 1시간에서 24시간 이내 사망 예측 작업에서 PR-AUC 62.46 (±0.20) 및 ROC 90.06 (±0.12)을 기록하여 코드 전용 및 신호 전용 변종보다 뛰어난 성능을 보였다.
• 장기 입원 기간(24시간에서 720시간)에 대해서는 PSV 모델이 PR-AUC 48.88 (±0.13) 및 ROC 85.90 (±0.09)을 기록하여 기준 모델 대비 개선된 일반화 능력을 보였다.
• PSV 모델의 준지도 변종은 1시간에서 24시간 이내 사망 예측 작업에서 PR-AUC 65.40 (±0.35) 및 ROC 89.10 (±0.59)을 기록하여 레이블이 제한된 상황에서도 뛰어난 성능을 보였다.
• Seq2Seq 및 Transformer 기준 모델은 1시간에서 24시간 이내 사망 예측 작업에서 PR-AUC 값이 10 이하로 매우 낮게 나타나 모델이 상당히 뛰어난 성능을 보였다.
• 장기 입원 환자에 대해서는 성능이 크게 저하되었으며, 이는 현재 EHR 데이터가 장기 ICU 치료의 복잡한 역학을 충분히 반영하지 못하고 있음을 시사한다.
• 제거 실험을 통해 코드 및 신호 표현을 통합한 결과가 가장 우수했으며, 신호 전용 표현은 재입원 예측에서 빈약한 성능을 보였다 (PR-AUC 30.47 ±0.13).