[논문 리뷰] Phenotyping of Clinical Time Series with LSTM Recurrent Neural Networks

Zachary C. Lipton, David C. Kale외 1명|arXiv (Cornell University)|2015. 10. 26.

Time Series Analysis and Forecasting참고 문헌 22인용 수 31

한 줄 요약

이 논문은 소아 중환자 집중 치료실(PICU)의 변동 길이 임상 시간 시리즈에서 다중 레이블 형질 분류를 수행하기 위해 장기 단기 기억(LSTM) 순환 신경망을 제안하며, 원시 측정값만을 사용하여 128개의 진단 레이블에서 최신 기술 수준의 성능을 달성한다. LSTM 모델은 로지스틱 회귀와 같은 강력한 기준 모델들보다도 마이크로 및 매크로 AUC와 F1 스코어 등의 여러 지표에서 뛰어난 성능을 보였다.

ABSTRACT

We present a novel application of LSTM recurrent neural networks to multilabel classification of diagnoses given variable-length time series of clinical measurements. Our method outperforms a strong baseline on a variety of metrics.

연구 동기 및 목표

• 불규칙하게 샘플링된 다변량 임상 시간 시리즈를 사용하여 중환자 치료 환자의 형질 분류 문제를 해결하기 위해.
• 특수 분야의 특징 공학 없이도 LSTMs가 임상 데이터의 복잡한 비선형 시간 패턴을 효과적으로 학습할 수 있는지 평가하기 위해.
• 기존의 머신러닝 기준 모델들과 비교하여 엔드 투 엔드 LSTM 모델의 성능을 다중 레이블 진단 예측에 대해 평가하기 위해.
• 원시 생리학적 및 검사 측정값에서 자동으로 데이터 기반으로 임상 형질을 발견할 수 있는지의 가능성을 탐색하기 위해.

제안 방법

• 모델은 10,401개의 PICU 환자 에피소드에서 올라온 원시 시간당 재샘플링된 임상 시간 시리즈 데이터를 처리하기 위해 2층의 LSTM 네트워크를 사용하며, 각 층에 128개의 뉴런을 가진다.
• 입력 데이터는 임상 전문가가 정의한 범위를 기반으로 [0,1]로 정규화되며, 누락된 값은 전진/후행 보간법을 사용해 보간된다.
• LSTM의 최종 은닉 상태는 다중 레이블 분류를 위해 시그모이드 활성화 함수를 사용하는 완전 연결 층을 통과한다.
• 128개의 출력 뉴런에 대해 이진 교차 엔트로피 손실을 사용하며, 모델은 모멘텀을 사용한 확률적 경사 하강법으로 훈련된다.
• 기울기 폭주를 방지하기 위해 기울기 클리핑과 L2 가중치 감소를 적용하며, 하이퍼파라미터 튜닝을 위해 조기 중단 기법을 사용한다.
• 모델은 시간 순서에 따라 시퀀스를 처리하며, 예측은 오직 최종 시간 단계에서만 생성된다.

실험 결과

연구 질문

• RQ1 불규칙한 샘플링과 누락 데이터를 포함한 다변량 임상 시간 시리즈에서 LSTMs가 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 엔드 투 엔드 LSTM 모델은 로지스틱 회귀와 같은 전통적 모델과 비교해 다중 레이블 임상 형질 분류에서 어떻게 성능을 냈는가?
• RQ3 특수 분야의 특징 공학 없이도 원시 임상 시간 시리즈만으로도 높은 진단 분류 성능를 달성할 수 있는가?
• RQ4 매크로 평균 지표로 측정했을 때, LSTM 모델이 희귀 질환에 대해 잘 일반화되는가?

주요 결과

• LSTM 모델은 마이크로-AUC 0.8324와 매크로-AUC 0.7717을 기록하여, 다음으로 좋은 기준 모델인 특징 공학을 적용한 로지스틱 회귀보다 두 지표 모두에서 뛰어난 성능을 보였다.
• LSTM은 마이크로-F1 스코어 0.2577과 매크로-F1 스코어 0.1304를 기록했으며, 각각 로지스틱 회귀 기준 모델보다 0.0079와 0.0050 높게 기록했다.
• 상위 10개 예측의 정밀도에서 LSTM은 0.1078을 기록했으며, 가장 우수한 기준 모델(0.1085)에 비해 略적으로 낮아, 상위 10개 예측의 품질이 매우 우수함을 시사했다.
• 희귀 질환에 대한 성능이 매크로 평균 지표로 상대적으로 높게 나타나, 희귀 형질의 학습이 효과적으로 이루어졌음을 입증했다.
• 결과적으로 LSTMs가 전문가 기반 특징 공학에 의존하지 않고도 원시 시간 시리즈에서 임상적으로 의미 있는 표현을 직접 학습할 수 있음을 시사한다.