[논문 리뷰] Heteroscedastic Temporal Variational Autoencoder For Irregular Time Series

Satya Narayan Shukla, Benjamin M. Marlin|arXiv (Cornell University)|2021. 07. 23.

Time Series Analysis and Forecasting인용 수 7

한 줄 요약

이 논문은 비정규적으로 샘플링된 다변량 시계열 데이터에 대한 확률적 보간을 위한 깊이 있는 생성 모델인 이질분산 시간 변동 오토인코더(HeTVAE)를 제안한다. 불확실성 인식 다중시간 주의 메커니즘 인코더, 이중 결정론적 및 확률론적 잠재 경로, 이질분산 출력층을 통합함으로써 HeTVAE는 희소성으로 인한 시간에 따라 변화하는 불확실성을 명시적으로 모델링하며, PhysioNet 및 MIMIC-III를 포함한 합성 및 실세계 데이터셋에서 최신 기술 수준의 로그 가능도 성능을 달성한다.

ABSTRACT

Irregularly sampled time series commonly occur in several domains where they present a significant challenge to standard deep learning models. In this paper, we propose a new deep learning framework for probabilistic interpolation of irregularly sampled time series that we call the Heteroscedastic Temporal Variational Autoencoder (HeTVAE). HeTVAE includes a novel input layer to encode information about input observation sparsity, a temporal VAE architecture to propagate uncertainty due to input sparsity, and a heteroscedastic output layer to enable variable uncertainty in output interpolations. Our results show that the proposed architecture is better able to reflect variable uncertainty through time due to sparse and irregular sampling than a range of baseline and traditional models, as well as recently proposed deep latent variable models that use homoscedastic output layers.

연구 동기 및 목표

• 관측 희소성이 시간에 따라 변하는 비정규적으로 샘플링된 다변량 시계열에서의 확률적 보간 문제를 해결하기 위해.
• 잠재 공간에만 의존하는 동질분산 VAE와 달리, 변수 출력 불확실성을 명시적으로 모델링하여 딥 생성 모델의 불확실성 정량화를 향상시키기 위해.
• 이질분산 출력으로 인한 학습 불안정성을 완화하기 위해 표준 ELBO와 불확실성 무관 손실을 조합한 확장된 학습 목표를 도입하기 위해.
• 복잡하고 비균일한 누락 데이터 패턴을 보이는 의료 및 금융 분야와 같은 도메인에서 정확하고 불확실성 인식 보간을 가능하게 하기 위해.

제안 방법

• 입력 희소성과 시간별 관측 패턴을 분산 잠재 표현으로 인코딩하는 불확실성 인식 다중시간 주의 네트워크(UnTAN)를 도입한다.
• 결정론적 경로(구조적 신호 전파용)와 확률론적 경로(불확실성 모델링용)를 갖는 이중 경로 아키텍처를 활용한다.
• 출력 분포의 평균과 분산을 모두 예측하는 이질분산 출력층을 사용하여 보간 시 시간에 따라 변화하는 불확실성을 가능하게 한다.
• 데이터 구조가 노이즈로 잘못 할당되는 국소 최적점으로 수렴하는 것을 방지하기 위해 표준 ELBO와 불확실성 무관 손실을 조합한 확장된 학습 목표를 적용한다.
• 다양한 시계열 차원과 기준 시간 점에서 비정규적으로 간격이 떨어진 관측치를 정렬하기 위해 주의 메커니즘을 활용한다.
• 백프로파게이션과 기울기 기반 최적화를 사용해 엔드 투 엔드로 모델을 학습함으로써 희소성 인코딩, 잠재 표현, 출력 불확실성의 공동 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 잠재 공간의 불확실성 외에 출력 분산을 명시적으로 모델링함으로써, 깊이 있는 생성 모델이 비정규적으로 샘플링된 시계열에서 시간에 따라 변화하는 불확실성을 효과적으로 포착할 수 있는가?
• RQ2 이질분산 출력층이 동질분산 VAE와 비교해 비정규 시계열에서 확률적 보간 성능을 어떻게 향상시키는가?
• RQ3 제안된 확장된 학습 목표가 이질분산 출력 구조로 인한 학습 불안정성을 어느 정도 완화하는가?
• RQ4 분리된 결정론적 및 확률론적 경로는 불확실성 정량화와 재구성 정확도 향상에 어떻게 기여하는가?
• RQ5 UnTAN 인코더가 입력 희소성을 인코딩할 수 있는 능력이 변수 관측 간격이 존재할 때 기존 주의 기반 인코더보다 더 높은 성능을 내는가?

주요 결과

• HeTVAE는 PhysioNet(0.5542 ± 0.0209)과 MIMIC-III(0.6662 ± 0.0023)에서 모두 최고의 로그 가능도 성능를 기록하며, 모든 기준 모델 및 최신 기술 수준의 모델을 크게 앞서 간다.
• 제거 실험에서 확장된 학습 목표를 제거한 HeTVAE - ALO는 PhysioNet에서 9.8% 성능 저하를 보이며, 이는 국소 최적점으로 수렴하는 것을 방지하는 데 핵심적인 역할을 함을 시사한다.
• 결정론적 경로를 제거한 HeTVAE - DET는 MIMIC-III에서 3.5% 성능 향상을 보이며, 이는 복잡한 신호 구조를 모델링하는 데 기여함을 강조한다.
• HeTVAE는 HTVAE-mTAN 기준 모델 대비 PhysioNet에서 로그 가능도 성능을 28.6% 향상시켰으며, 이는 이질분산 출력과 이중 경로의 유용성을 입증한다.
• 모든 구성 요소를 제외하고 동질분산 출력만 남긴 HeTVAE - HET - INT - DET - ALO의 제거 실험에서는 가장 큰 성능 저하(PhysioNet에서 로그 가능도 1.2426)를 보이며, 제안된 모든 구성 요소의 필요성을 확인한다.
• MIMIC-III에서 확률론적 경로와 확장된 손실만 있는 모델(HeTVAE - PROB - ALO)이 결정론적 경로가 없는 전체 모델보다 더 뛰어난 성능을 보이며, 이는 확률론적 경로가 구성 요소 제거에 더 강건함을 시사한다.