[논문 리뷰] Learning from Irregularly-Sampled Time Series: A Missing Data Perspective

Steven Cheng-Xian Li, Benjamin M. Marlin|arXiv (Cornell University)|2020. 08. 17.

Machine Learning in Healthcare인용 수 21

한 줄 요약

이 논문은 비균일하게 샘플링된 다변량 시계열 데이터를 결측 데이터 문제로 모델링함으로써 비정규 시계열에서 학습하는 데 새로운 인코더-디코더 프레임워크를 제안한다. 변수 길이의 비균일 시계열을 효율적으로 인코딩하기 위해 연속형 컨볼루션 레이어를 도입하고, 변분 오토인코더(P-VAE)와 생성적 적대 기반 네트워크(P-BiGAN)를 활용해 공동 표현 학습 및 생성을 수행하여, 기존 최고 수준의 모델인 Latent ODE에 비해 최대 50배 빠른 훈련 속도를 달성하며 경쟁적인 분류 성능을 보였다.

ABSTRACT

Irregularly-sampled time series occur in many domains including healthcare. They can be challenging to model because they do not naturally yield a fixed-dimensional representation as required by many standard machine learning models. In this paper, we consider irregular sampling from the perspective of missing data. We model observed irregularly-sampled time series data as a sequence of index-value pairs sampled from a continuous but unobserved function. We introduce an encoder-decoder framework for learning from such generic indexed sequences. We propose learning methods for this framework based on variational autoencoders and generative adversarial networks. For continuous irregularly-sampled time series, we introduce continuous convolutional layers that can efficiently interface with existing neural network architectures. Experiments show that our models are able to achieve competitive or better classification results on irregularly-sampled multivariate time series compared to recent RNN models while offering significantly faster training times.

연구 동기 및 목표

• 표준 기계학습 모델이 요구하는 고정 차원 표현을 갖지 못한 비균일하게 샘플링된 시계열을 모델링하는 데 도전하는 것.
• 관측된 데이터를 잠재적인 연속 함수의 부분 관측치로 간주함으로써 비균일 샘플링을 결측 데이터 문제로 재정의하는 것.
• 잠재적 시간 과정을 공동으로 학습하고, 잠재 표현을 추론하며, 시계열 분류를 수행할 수 있는 확장성 있고 종단 간(end-to-end) 딥러닝 프레임워크를 개발하는 것.
• 비균일 시계열 전용으로 설계된 연속형 컨볼루션 레이어를 통해 표준 신경망과 효율적으로 통합할 수 있도록 하는 것.
• 기존의 RNN 기반 및 ODE 기반 모델에 비해 예측 정확도와 훈련 속도에서 모두 뛰어난 성능을 내는 것.

제안 방법

• 시계열을 시간-값 쌍(t_i, x_i)으로 모델링하고, 관측되지 않은 시간 포인트를 [0,T] → ℝ의 잠재 연속 함수 f에서의 결측 데이터로 간주한다.
• 인코더는 비균일 관측치를 잠재 분포로 매핑하고, 디코더는 잠재 코드로부터 전체 함수를 재구성하는 인코더-디코더 아키텍처를 사용한다.
• 등간격의 기준점 위에서 조각별 선형 커널을 적용함으로써 비균일 시계열을 처리하는 연속형 컨볼루션 레이어를 도입하여, 미분 가능하고 병렬화 가능한 특징 추출을 가능하게 한다.
• P-VAE 변종은 중요도 가중 평균 오토인코더(IWAE)를 사용한 변분 추론을 통해 잠재 함수에 대한 진정한 사후분포를 근사한다.
• P-BiGAN 변종은 실재 시계열과 생성된 시계열을 구분하도록 훈련하는 디스커리미네이터를 사용한 GAN 기반 접근법을 활용하여, 기존 GAN에 비해 결측 데이터에 대한 생성 품질을 향상시킨다.
• 하류 분류기와 함께 공동으로 훈련되어 분류 작업을 위한 종단 간 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 비균일하게 샘플링된 시계열은 결측 데이터 문제로 효과적으로 모델링될 수 있는가? 이는 확장 가능한 딥러닝을 가능하게 하는가?
• RQ2 연속형 컨볼루션 레이어는 비균일 시계열을 고정 차원 표현으로 매핑하는 데 있어 효율적이고, 미분 가능한 방식을 제공할 수 있는가?
• RQ3 제안된 P-VAE 및 P-BiGAN 프레임워크는 RNN 및 ODE 기반 모델에 비해 훨씬 빠른 훈련 시간을 확보하면서도 경쟁적인 분류 성능을 달성할 수 있는가?
• RQ4 실제 임상 데이터에서 높은 결측률을 보이는 실생활 의료 시계열 데이터에서, 제안된 프레임워크는 Latent ODE 및 GRU-D와 같은 최고 수준의 모델에 비해 성능가능성이 있는가?
• RQ5 오직 인코더와 분류기만을 사용하는 비생성 기반 베이스라인 모델이 매우 불완전한 시계열 데이터에서 전통적인 RNN보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• Cont P-BiGAN은 MIMIC-III 생존 예측 작업에서 AUC 86.05%를 기록하여 Latent ODE(85.71%)와 GRU-D(83.88%)를 모두 앞섰다.
• Cont P-VAE는 AUC 85.52%를 기록하여 매우 뛰어난 성능를 보였고, Latent ODE에 비해 50배 이상 빠른 훈련 속도를 확보했다.
• Cont P-BiGAN는 에포크당 0.22시간으로 훈련되었고, Latent ODE는 2.62시간이 소요되어, 더 높은 모델 복잡성에도 불구하고 10배 이상의 속도 향상을 보였다.
• 비생성 기반 Cont Classifier는 AUC 84.87%를 기록하여 M-RNN(83.87%)과 GRU-D(83.88%)를 모두 능가했으며, 연속형 컨볼루션 인코더만으로도 효과적인 성능이 가능함을 입증했다.
• 연속형 컨볼루션 레이어 덕분에 매우 병렬화 가능한 계산이 가능해져, 순차적 RNN 및 ODE 기반 모델에 비해 훈련 시간이 수개월 단위로 감소했다.
• 프레임워크는 MIMIC-III에서 평균 92%의 높은 결측률에도 불구하고 강력한 일반화 성능를 보이며, 실제 임상 데이터에서의 안정성을 입증했다.