[논문 리뷰] GP-VAE: Deep Probabilistic Time Series Imputation

Vincent Fortuin, Dmitry Baranchuk외 2명|arXiv (Cornell University)|2019. 07. 09.

Gaussian Processes and Bayesian Inference참고 문헌 45인용 수 29

한 줄 요약

GP-VAE는 잠재 공간에 고려된 가우시안 프로세스 사전분포를 갖는 변분 오토인코더를 결합하여 다변량 시계열 데이터의 결측치를 보정하기 위한 딥 확률 모델을 제안한다. 이는 부드럽고 불확실성 인식이 가능한 보정을 가능하게 하며, 의료 및 컴퓨터 비전 데이터에서 기존의 고전적 및 딥러닝 방법들을 능가한다. 또한 해석 가능한 불확실성 추정과 향상된 시간적 부드러움을 제공한다.

ABSTRACT

Multivariate time series with missing values are common in areas such as healthcare and finance, and have grown in number and complexity over the years. This raises the question whether deep learning methodologies can outperform classical data imputation methods in this domain. However, naive applications of deep learning fall short in giving reliable confidence estimates and lack interpretability. We propose a new deep sequential latent variable model for dimensionality reduction and data imputation. Our modeling assumption is simple and interpretable: the high dimensional time series has a lower-dimensional representation which evolves smoothly in time according to a Gaussian process. The non-linear dimensionality reduction in the presence of missing data is achieved using a VAE approach with a novel structured variational approximation. We demonstrate that our approach outperforms several classical and deep learning-based data imputation methods on high-dimensional data from the domains of computer vision and healthcare, while additionally improving the smoothness of the imputations and providing interpretable uncertainty estimates.

연구 동기 및 목표

• 의료 및 금융 분야에서 결측치가 있는 다변량 시계열 데이터의 보정 문제를 해결한다.
• 의미 없는 해석 가능성과 결측치에 취약한 고전적 방법의 한계를 극복하고, 일반적으로 불확실성 측정이 부족한 딥러닝 모델의 한계도 해결한다.
• 시간적 상관관계와 채널 간 상호의존성을 낮은 차원의 잠재 동역학을 통해 공동으로 활용하는 생성 모델을 개발한다.
• 시간에 따라 변화하는 사후 분포 상관관계를 잘 포착하면서도 선형 시간 복잡도를 유지하는 효율적인 구조적 변분 추론을 가능하게 한다.
• 실제 의사결정, 예를 들어 임상 환경에서 사용 가능한 부드럽고 해석 가능한 불확실성 추정과 보정을 제공한다.

제안 방법

• 고차원적이고 완전하지 않은 시계열 데이터를 낮은 차원의 잠재 공간으로 매핑하기 위해 딥 변분 오토인코더(VAE)를 사용하며, 이 과정에서 결측치가 해결된다.
• 잠재 공간 내의 시간적 동역학을 새로운 코시 커널을 사용한 가우시안 프로세스(GP) 사전분포로 모델링하여 다중 척도의 동역학을 포착한다.
• 다른 GP를 사용하여 사후 분포를 모델링하는 구조적 변분 근사법을 도입함으로써 시간적 상관관계를 유지하고 효율적인 추론을 가능하게 한다.
• 추론 및 생성 네트워크를 모두 미분 가능하게 하여 엔드 투 엔드 최적화가 가능하도록 보장한다.
• 시간 단위 간 공유된 가중치를 갖는 컨볼루션 추론 네트워크와 깊이 있는 피드포워드 생성 네트워크를 사용하여 복잡한 비선형 관계를 모델링한다.
• 구조적 변분 근사법을 통해 선형 시간 복잡도의 샘플링을 적용함으로써 전체 GP 추론의 세제곱 비용을 피한다.

실험 결과

연구 질문

• RQ1 잠재 공간에 GP 사전분포를 갖는 딥 잠재변수 모델이 결측치가 있는 다변량 시계열 데이터에서 기존의 고전적 및 딥러닝 보정 방법보다 우수한 성능을 내는가?
• RQ2 GP-VAE에서의 구조적 변분 추론 접근법은 효율성을 유지하면서도 사후 분포 내 시간적 상관관계를 효과적으로 포착하는가?
• RQ3 모델이 데이터의 희소성과 노이즈 수준과 관련하여 신뢰할 수 있는 불확실성 추정을 제공하는 정도는 어느 정도인가?
• RQ4 모델이 의료 및 컴퓨터 비전과 같은 다양한 분야로 일반화되는 정도는 어떠한가?
• RQ5 특히 노이즈가 많거나 희소한 임상 데이터에서, 기존 모델 대비 더 부드럽고 해석 가능한 보정을 제공하는가?

주요 결과

• GP-VAE는 합성 및 실세계 데이터 모두에서 평균 보정, 전진 보정, GP 기반 모델과 같은 고전적 방법들을 능가한다.
• PhysioNet 데이터셋에서 GP-VAE는 AUROC 0.730 ± 0.006을 기록하여 VAE, HI-VAE, GRUI-GAN 및 대부분의 기준 모델을 능가했으며, 최신 기술인 BRITS 모델과 유사한 성능을 보였다.
• GP 사전분포의 노이즈 제거 효과로 인해 기존 모델 대비 더 부드러운 보정을 생성한다. 이는 칼만 필터와 유사한 작용을 한다.
• 변분 사후에서 유도된 불확실성 추정치는 데이터의 희소성과 측정 노이즈와 정성적으로 관련되어 있으며, 임상 의사결정에 활용 가능한 신뢰구간을 제공한다.
• 구조적 변분 추론 덕분에 사후 분포에서 선형 시간 복잡도로 샘플링이 가능하여, 전체 GP 사전분포를 사용함에도 불구하고 모델의 확장성이 확보된다.
• 보정된 데이터에 대한 대체 과제(예: 로지스틱 회귀)에서의 성능이 진짜 가능도와 잘 일치함으로써, 모델의 보정 품질이 검증되었다.