[논문 리뷰] Learning to Diagnose with LSTM Recurrent Neural Networks

Zachary C. Lipton, David C. Kale외 2명|arXiv (Cornell University)|2015. 11. 11.

Machine Learning in Healthcare참고 문헌 45인용 수 516

한 줄 요약

이 논문은 불규칙하게 샘플링된 다변량 임상 ICU 데이터의 시간 시리즈에서 다중 레이블 진단을 분류하기 위해 장기 단기 기억(LSTM) 순환 신경망을 사용하는 것을 제안한다. 학습 중에 타겟 복제와 드롭아웃을 적용함으로써, 수동으로 설계된 특징을 사용한 다층퍼셉트론(MLP)과 같은 강력한 베이스라인보다도 뛰어난 성능을 보였으며, 이는 원시 시간 시리즈 데이터만을 사용함에도 불구하고 LSTMs가 특징 공학 없이도 임상 시퀀스에서 장거리 의존성을 효과적으로 포착할 수 있음을 보여준다.

ABSTRACT

Clinical medical data, especially in the intensive care unit (ICU), consist of multivariate time series of observations. For each patient visit (or episode), sensor data and lab test results are recorded in the patient's Electronic Health Record (EHR). While potentially containing a wealth of insights, the data is difficult to mine effectively, owing to varying length, irregular sampling and missing data. Recurrent Neural Networks (RNNs), particularly those using Long Short-Term Memory (LSTM) hidden units, are powerful and increasingly popular models for learning from sequence data. They effectively model varying length sequences and capture long range dependencies. We present the first study to empirically evaluate the ability of LSTMs to recognize patterns in multivariate time series of clinical measurements. Specifically, we consider multilabel classification of diagnoses, training a model to classify 128 diagnoses given 13 frequently but irregularly sampled clinical measurements. First, we establish the effectiveness of a simple LSTM network for modeling clinical data. Then we demonstrate a straightforward and effective training strategy in which we replicate targets at each sequence step. Trained only on raw time series, our models outperform several strong baselines, including a multilayer perceptron trained on hand-engineered features.

연구 동기 및 목표

• 불규칙하게 샘플링된 다변량 임상 시간 시리즈에서 LSTMs의 효과를 평가하는 것.
• 변동 길이, 누락 데이터, 장거리 의존성 등의 과제를 해결하기 위한 임상 시퀀스 모델링.
• 선형 모델과 수동으로 설계된 특징을 사용한 다층퍼셉트론(MLP)을 포함한 강력한 베이스라인과의 성능 비교.
• 일반화 성능 향상을 위한 정규화 기법—타겟 복제, 보조 출력, 드롭아웃—연구.
• 정제나 특징 공학 없이도 원시 시간 시리즈 데이터를 사용할 수 있는지의 가능성 탐색.

제안 방법

• 모델은 13개의 불규칙하게 샘플링된 임상 측정값(예: 심박수, 혈압)을 시간에 따라 처리하기 위해 단방향 LSTM을 사용한다.
• 타겟 복제 전략을 적용하여 손실를 모든 시간 단계에서 계산하고, 최종 단계 손실와 평균 단계 손실의 볼록 조합으로 통합한다.
• 보조 출력을 도입하여 네트워크가 추가적인 임상 변수를 예측하도록 훈련시켜 일반화 성능 향상과 과적합 감소를 도모한다.
• 비재귀 연결에 드롭아웃을 적용하여 모델 정규화를 추가로 강화하고 성능 향상을 도모한다.
• 데이터는 전진 및 후진 보간법을 통해 사전 처리되며, 시간 시리즈는 고정된 창으로 재샘플링되어 입력 길이를 표준화한다.
• 모델은 128개의 일반적인 진단 코드에 대해 다중 레이블 분류를 수행하며, 진단을 상호 배타적이지 않은 레이블로 간주한다.

실험 결과

연구 질문

• RQ1 원시로 불규칙하게 샘플링된 다변량 임상 시간 시리즈에서 LSTMs가 다중 레이블 진단 분류를 위해 의미 있는 표현을 효과적으로 학습할 수 있는가?
• RQ2 타겟 복제가 임상 시퀀스 작업을 위한 순환 모델의 학습 안정성과 성능 향상에 기여하는가?
• RQ3 보조 출력과 드롭아웃과 같은 정규화 기법이 작은 임상 데이터셋에서 일반화에 어떤 영향을 미치는가?
• RQ4 원시 데이터를 그대로 사용하는 엔드 투 엔드 LSTM이 수동으로 특징을 설계한 모델보다 성능이 뛰어나게 되는가?
• RQ5 다양한 데이터 윈도잉 및 보간 전략이 모델 성능과 정보 유지에 어떤 영향을 미치는가?

주요 결과

• 타겟 복제와 드롭아웃을 적용한 LSTM 모델은 원시 시간 시리즈만을 사용함에도 불구하고, 수동으로 특징을 설계한 다층퍼셉트론(MLP)보다도 최고의 베이스라인 성능을 뛰어넘었다.
• 타겟 복제 전략은 성능 향상과 과적합 감소에 크게 기여했으며, 특히 드롭아웃과 조합되었을 때 효과가 두드러졌다. 이는 더 큰 용량의 모델을 사용할 수 있도록 했다.
• 보조 출력과 드롭아웃의 조합는 상충된 결과를 보였으며, 이는 상호 보완 효과가 아닌 상쇄 효과가 발생했을 가능성을 시사한다. 이는 타겟 복제가 이미 강력한 정규화 효과를 제공하고 있기 때문일 수 있다.
• 임상 발병의 첫 6시간과 마지막 6시간을 모두 사용한 학습이 오직 마지막 12시간만 사용한 경우보다 성능이 뛰어났으며, 이는 초기 징후가 진단에 매우 중요하다는 것을 시사한다.
• 모델는 LSTMs가 증상이 초기 손상 이후 며칠이 지난 후에 나타나더라도, 임상 시퀀스에서 장거리 의존성을 효과적으로 포착할 수 있음을 보여주었다.
• 본 연구는 데이터 사전 처리 과정에서 시간 구조를 유지하는 것이 중요하다는 점을 강조한다. 현재의 보간 및 재샘플링 방법은 유용한 시간 정보를 손실시킬 수 있다.