[논문 리뷰] Directly Modeling Missing Data in Sequences with RNNs: Improved Classification of Clinical Time Series

Zachary C. Lipton, David C. Kale외 1명|arXiv (Cornell University)|2016. 06. 13.

Machine Learning in Healthcare인용 수 39

한 줄 요약

이 논문은 임상 시계열에서 누락된 데이터를 직접 모델링하기 위해 이진 표시자(Indicator)를 사용하는 RNN을 제안하며, 다중 레이블 진단 분류에서 AUC 및 F1 점수를 크게 향상시킨다. 이는 RNN이 누락 패턴에서 복잡한 의존성을 학습함으로써 일부 질환에 대해 검사 결과 자체보다도 더 예측력이 높을 수 있음을 보여준다.

ABSTRACT

We demonstrate a simple strategy to cope with missing data in sequential inputs, addressing the task of multilabel classification of diagnoses given clinical time series. Collected from the intensive care unit (ICU) of a major urban medical center, our data consists of multivariate time series of observations. The data is irregularly sampled, leading to missingness patterns in re-sampled sequences. In this work, we show the remarkable ability of RNNs to make effective use of binary indicators to directly model missing data, improving AUC and F1 significantly. However, while RNNs can learn arbitrary functions of the missing data and observations, linear models can only learn substitution values. For linear models and MLPs, we show an alternative strategy to capture this signal. Additionally, we evaluate LSTMs, MLPs, and linear models trained on missingness patterns only, showing that for several diseases, what tests are run can be more predictive than the results themselves.

연구 동기 및 목표

• ICU 환경에서 불규칙하게 샘플링된 다변량 임상 시계열 데이터에 대한 누락 데이터 문제를 다루는 것.
• RNN이 누락 패턴을 소음이 아닌 신호로 효과적으로 모델링할 수 있는지 평가하는 것.
• 누락 패턴만을 기반으로 훈련된 RNN, LSTM, MLP, 선형 모델의 성능를 비교하는 것.
• 일부 진단에 대해 실제로 측정된 검사 결과보다는 어떤 검사를 수행했는지의 패턴이 더 예측력이 있는지 조사하는 것.
• 보간 없이도 단순하면서 효과적인 순차 임상 데이터의 누락 데이터 처리 전략을 개발하는 것.

제안 방법

• 재샘플링된 임상 시계열에서 누락을 나타내는 이진 표시자를 사용하여, 누락된 값을 정보가 풍부한 특성으로 간주하는 방법.
• 누락된 관측치를 나타내는 이진 마스크를 포함한 시퀀스를 기반으로 RNN 및 LSTM을 훈련하는 방법.
• AUC 및 F1을 평가 지표로 사용하여 다중 레이블 진단 분류 작업에서 모델 성능을 평가하는 방법.
• 오직 누락 패턴(즉, 어떤 검사를 수행했는지)만을 사용하여 별도의 모델을 훈련시어, 값과는 독립된 예측 능력을 평가하는 방법.
• RNN이 누락 데이터와 관측치의 임의의 함수를 학습할 수 있는 능력과 선형 모델이 대체 값에 의존하는 방식의 차이를 비교하는 방법.
• 불규칙하게 간격이 다른 ICU 데이터에 표준 재샘플링을 적용하여 고정 길이의 시퀀스로 변환하여 모델링하는 방법.

실험 결과

연구 질문

• RQ1 보간 없이도 RNN이 누락 패턴에서 효과적으로 학습할 수 있는가?
• RQ2 이진 표시자를 사용해 누락된 데이터를 직접 모델링하는 것이 표준 보간 또는 대체 값 대비 분류 성능에서 어떻게 다른가?
• RQ3 어떤 검사를 수행했는지의 패턴이 검사 결과와는 독립적으로 진단을 예측하는 데 어느 정도 기여하는가?
• RQ4 RNN이 누락 데이터 신호에서 학습할 때 선형 모델과 MLP보다 우수한 성능을 보이는가?
• RQ5 누락 구조 자체가 다중 레이블 임상 진단 분류에 의미 있는 신호가 될 수 있는가?

주요 결과

• 이진 표시자를 사용해 누락된 데이터를 모델링한 RNN은 다중 레이블 임상 진단 분류에서 AUC 및 F1 점수를 크게 향상시킨다.
• 어떤 검사를 수행했는지의 패턴은 실제 검사 결과보다 일부 진단에 대해 더 예측력이 높을 수 있으며, 특히 직접 모델링할 경우 더욱 그렇다.
• 선형 모델과 MLP는 동일한 이진 누락 표시자를 활용하지만, RNN과 달리 대체 기반 신호에 국한되어 학습되며 제한된 능력을 가진다.
• LSTM, MLP, 선형 모델이 오직 누락 패턴만을 기반으로 훈련되어도 의미 있는 성능를 보이며, 이는 검사 순서와 가용성에 진단 정보가 담겨 있음을 시사한다.
• 이 연구에서 제안한 방법은 보간을 피하고 누락을 직접 신호로 모델링함으로써, 불규칙하게 샘플링된 임상 데이터에 대한 모델의 강건성과 성능을 향상시킨다.
• 선형 기반 모델 대비 RNN이 누락과 임상 결과 사이의 복잡한 비선형 관계를 더 잘 학습하는 능력을 보였다.