[논문 리뷰] Temporal-Clustering Invariance in Irregular Healthcare Time Series

Mohammad Taha Bahadori, Zachary C. Lipton|arXiv (Cornell University)|2019. 04. 27.

Machine Learning in Healthcare참고 문헌 45인용 수 14

한 줄 요약

이 논문은 비정규적인 의료 시간 시리즈에서 시간적 클러스터링 불변성(temporal-clustering invariance)을 정규화 불변성으로 제안하며, 인접한 사건을 더 높은 확률로 병합함으로써 시간 시리즈를 굵게 만드는 확률적 데이터 증강 방법을 도입한다. 다중 해상도 앙상블(MultiResolution Ensemble, MRE) 모델은 다양한 굵기의 해상도에서 예측을 앙상블함으로써 사망 예측 정확도를 향상시키며, MIMIC-III에서 mAP가 53.92%에 도달하여 기준 모델 대비 2.39%포인트 향상되었다.

ABSTRACT

Electronic records contain sequences of events, some of which take place all at once in a single visit, and others that are dispersed over multiple visits, each with a different timestamp. We postulate that fine temporal detail, e.g., whether a series of blood tests are completed at once or in rapid succession should not alter predictions based on this data. Motivated by this intuition, we propose models for analyzing sequences of multivariate clinical time series data that are invariant to this temporal clustering. We propose an efficient data augmentation technique that exploits the postulated temporal-clustering invariance to regularize deep neural networks optimized for several clinical prediction tasks. We introduce two techniques to temporally coarsen (downsample) irregular time series: (i) grouping the data points based on regularly-spaced timestamps; and (ii) clustering them, yielding irregularly-paced timestamps. Moreover, we propose a MultiResolution Ensemble (MRE) model, improving predictive accuracy by ensembling predictions based on inputs sequences transformed by different coarsening operators. Our experiments show that MRE improves the mAP on the benchmark mortality prediction task from 51.53% to 53.92%.

연구 동기 및 목표

• 비정규적인 임상 시간 시리즈 데이터에서 시간적 클러스터링 불변성이 존재하는지 조사하는 것.
• 이 불변성을 활용하는 데이터 증강 기법을 개발하여 딥 러닝 모델을 정규화하는 것.
• 다중 해상도 앙상블을 통해 임상 시간 시리즈 작업에서 모델의 강건성과 예측 정확도를 향상시키는 것.
• 의료 데이터 수집 방식의 차이로 인한 일관성 없는 시간 클러스터링 문제를 해결하는 것.

제안 방법

• 시간적으로 가까운 사건일수록 더 높은 확률로 인접한 사건을 무작위로 병합하는 확률적 굵기 조정 연산자(stochastic coarsening operator)를 제안한다.
• 이상하게 간격이 떨어진 클러스터로 사건을 그룹화하고 값의 평균을 구하는 결정적 클러스터링&카운팅 연산자(deterministic cluster&count operator)를 도입한다. 이때 클러스터 크기를 특징으로 추가한다.
• 동일한 입력을 여러 개의 굵기 조정 연산자를 통해 처리하고, 어텐션 기반 방식으로 예측을 앙상블하는 다중 해상도 앙상블(MultiResolution Ensemble, MRE) 모델을 개발한다.
• 모든 해상도에서 동일한 신경망 아키텍처를 사용하며, 파rameter 수 증가를 막기 위해 가중치를 공유한다.
• 굵기 조정 연산자를 데이터 전처리 단계에서 적용하고, 클러스터를 유지함으로써 학습 속도를 향상시킨다.
• 테스트 시점에서 여러 해상도의 예측을 어텐션 기반 평균화 방식으로 통합한다.

실험 결과

연구 질문

• RQ1 다변량 임상 시간 시리즈에서 시간적 클러스터링 불변성이 존재하는가? 즉, 사건들이 시간적으로 클러스터링되어 있든 분산되어 있든 예측 결과가 안정적으로 유지되어야 하는가?
• RQ2 시간 굵기 조정 기반 데이터 증강 기법이 임상 예측을 위한 딥 러닝 모델의 일반화 능력과 강건성을 향상시킬 수 있는가?
• RQ3 다양한 굵기의 굵어진 시간 시리즈에서의 예측을 앙상블하면 예측 정확도가 향상되는가?
• RQ4 제안된 방법은 데이터 분포 이동 및 적대적 편향에 대해 표준 기준 모델 대비 강건성이 높은가?

주요 결과

• 다중 해상도 앙상블(MultiResolution Ensemble, MRE) 모델은 MIMIC-III 벤치마크에서 사망 예측 과제에서 평균 평균 정밀도(mAP)를 51.53%에서 53.92%로 향상시켰다.
• 제안된 데이터 증강 기법은 적대적 편향에 대한 모델 강건성을 향상시키고 과적합을 감소시켰다.
• GRU 약한 학습기(weak-learner)를 사용한 MRE-Grid 모델은 개별 약한 학습기보다 학습 반복당 더 빠른 수렴 속도를 보였다.
• MRE 모델은 체류 기간(LoS) 예측 과제에서 이전 연구 대비 더 낮은 MAE와 RMSE를 달성하여 성능 향상을 이뤘지만, 데이터 전처리 편향에 민감한 편이었다.
• 굵기 조정 연산자는 작은 측정 오차와 시간 지터(time jitter)에 대해 일정한 불변성을 제공하며, 시간 변형 불변성과 유사한 성질을 가졌다.
• 전처리 단계에서 굵기 조정을 사전에 계산하고 저장하므로 학습 오버헤드가 최소화되어 계산적으로 효율적이었다.