[논문 리뷰] Improving Clinical Predictions through Unsupervised Time Series Representation Learning

Xinrui Lyu, Matthias Hüser외 3명|arXiv (Cornell University)|2018. 12. 02.

Machine Learning in Healthcare참고 문헌 17인용 수 26

한 줄 요약

이 논문은 레이블이 없는 데이터에서 임의의 임상 시간 시리즈 표현을 학습하기 위해 주의 메커니즘을 통합한 새로운 비지도 시퀀스 투 시퀀스 예측 모델(S2S-F-A)을 제안한다. 대규모 레이블이 없는 ICU 데이터에서 사전 훈련을 통해 모델은 일반화 가능한 환자 표현을 학습하며, 이는 특히 데이터가 적은 상황에서 24시간 이내 사망률 및 퇴원 예측과 같은 임상 결과 예측에 대해 종단형 지도 학습보다 유의하게 향상된다.

ABSTRACT

In this work, we investigate unsupervised representation learning on medical time series, which bears the promise of leveraging copious amounts of existing unlabeled data in order to eventually assist clinical decision making. By evaluating on the prediction of clinically relevant outcomes, we show that in a practical setting, unsupervised representation learning can offer clear performance benefits over end-to-end supervised architectures. We experiment with using sequence-to-sequence (Seq2Seq) models in two different ways, as an autoencoder and as a forecaster, and show that the best performance is achieved by a forecasting Seq2Seq model with an integrated attention mechanism, proposed here for the first time in the setting of unsupervised learning for medical time series.

연구 동기 및 목표

• 비지도 의료 시간 시리즈에서 표현 학습이 종단형 지도 학습보다 임상 예측 과제를 향상시킬 수 있는지 조사하기.
• 다양한 오토인코더 및 예측 아키텍처의 성능을 평가하여 일반적인 환자 표현을 학습하는 데 기여하는지 확인하기.
• 레이블이 부족한 상황에서 비지도 사전 훈련이 종단형 지도 학습을 능가할 수 있는지 판단하기.
• 주의 메커니즘이 임상 시간 시리즈의 표현 품질 향상에 기여하는 역할을 탐색하기.
• 학습된 표현이 다양한 임상 예측 과제 간에 이식 가능성이 있는지 평가하기.

제안 방법

• 저자들은 비지도 표현 학습을 위해 시퀀스 투 시퀀스(Seq2Seq) 모델을 사용하며, 인코더와 디코더 모두에 장기 기억 단기 기억(LSTM) 유닛을 적용한다.
• 모델은 크기 T의 슬라이딩 윈도우를 기반으로 과거 시간 시리즈 신호를 재구성하도록 훈련되며, 평균 제곱 오차(MSE) 손실을 사용한다.
• 기존의 재구성 기반 오토인코더와는 달리, 미래 시간 단계를 예측하는 새로운 예측 기반 Seq2Seq 모델(S2S-F)을 도입한다.
• S2S-F 모델에 주의 메커니즘을 통합함으로써(S2S-F-A), 디코더가 예측 과정에서 관련된 인코더 상태에 집중할 수 있도록 한다.
• 인코더에서 학습된 표현은 1층 및 3층 LSTM과 같은 종단 분류기의 입력 특징으로 사용된다.
• 모델은 재구성 오차 및 임상 결과 예측(AUROC 및 AUPRC 기반, 사망률 및 퇴원)을 평가하기 위해 MIMIC-III 데이터셋을 사용한다.

실험 결과

연구 질문

• RQ1 비지도 의료 시간 시리즈에서 표현 학습이 종단형 지도 학습보다 임상적으로 유의미한 결과 예측에 유리한가?
• RQ2 예측 기반 Seq2Seq 모델이 재구성 기반 오토인코더보다 유용한 표현을 학습하는 데 더 효과적인가?
• RQ3 비지도 Seq2Seq 프레임워크에 주의 메커니즘을 통합할 경우 임상 시간 시리즈의 표현 품질에 어떤 영향을 미치는가?
• RQ4 레이블이 제한된 저데이터 환경에서 비지도 표현의 성능은 어떠한가?
• RQ5 레이블이 없는 데이터에서 학습된 표현은 다양한 종단 임상 예측 과제에 일반화 가능한가?

주요 결과

• 예측 기반 주의 메커니즘을 통합한 S2S-F-A 모델은 향후 생리적 신호 예측에서 가장 높은 성능을 보였으며, 평균 제곱 오차는 0.0474 ± 0.003을 기록하여 모든 기준 모델을 압도했다.
• 24시간 이내 사망률 예측에서 S2S-F-A 표현은 AUROC 0.890 ± 0.009 및 AUPRC 0.201 ± 0.01을 기록하여 모든 방법 중에서 최고 성능을 보였다.
• 레이블이 1%인 설정에서 S2S-F-A 표현을 기반으로 훈련된 모델는 더 깊은 종단형 지도 학습 모델(LSTM-3)조차도 능가했으며, 이는 비지도 사전 훈련의 이점을 입증했다.
• 24시간 이내 퇴원 예측에서 S2S-F-A 모델은 AUPRC 0.480 ± 0.007을 기록하여 모든 방법 중에서 가장 높은 성능을 보였으며, 임상 의사결정 과제에 대한 강력한 일반화 능력을 시사했다.
• 단지 75명의 레이블이 있는 환자(전체 데이터의 1%)가 존재하는 상황에서도 비지도 표현 학습 접근법이 뛰어난 성능을 유지했으며, 이는 데이터가 부족한 임상 환경에서의 유용성을 시사한다.
• 결과는 예측 목표와 주의 메커니즘을 통합한 비지도 사전 훈련이 재구성 기반 오토인코더나 단순 기준 모델보다 더 정보가 풍부한 표현을 생성함을 확인했다.