[논문 리뷰] Markovian Gaussian Process Variational Autoencoders

Harrison Zhu, Carles Balsells Rodas외 1명|arXiv (Cornell University)|2022. 07. 12.

Gaussian Processes and Bayesian Inference인용 수 5

한 줄 요약

이 논문은 마르코프성 가우시안 프로세스 변분 오토인코더(MGPVAE)를 제안한다. 이는 마르코프성 GP의 등가 이산 상태공간 표현을 활용하여 칼만 필터링 및 스무딩을 통해 선형 시간 복잡도로 훈련이 가능한 확장 가능한 순차적 VAE이다. 가우시안 프로세스의 전역적 인덕티브 바이어스와 선형 상태공간 모델의 계산 효율성을 결합함으로써, MGPVAE는 긴 시계열 데이터에 대해서도 스케일이 잘 되어 있으며 고차원의 시간적 및 시공간 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Sequential VAEs have been successfully considered for many high-dimensional time series modelling problems, with many variant models relying on discrete-time mechanisms such as recurrent neural networks (RNNs). On the other hand, continuous-time methods have recently gained attraction, especially in the context of irregularly-sampled time series, where they can better handle the data than discrete-time methods. One such class are Gaussian process variational autoencoders (GPVAEs), where the VAE prior is set as a Gaussian process (GP). However, a major limitation of GPVAEs is that it inherits the cubic computational cost as GPs, making it unattractive to practioners. In this work, we leverage the equivalent discrete state space representation of Markovian GPs to enable linear time GPVAE training via Kalman filtering and smoothing. For our model, Markovian GPVAE (MGPVAE), we show on a variety of high-dimensional temporal and spatiotemporal tasks that our method performs favourably compared to existing approaches whilst being computationally highly scalable.

연구 동기 및 목표

• 고차원 시계열 데이터에 대해 GPVAE의 O(T³) 계산 복잡도 문제를 해결함으로써 장기간의 시계열 데이터에 대한 확장성 향상.
• 가우시안 프로세스의 전역적 인덕티브 바이어스(예: 부드러움, 주기성 등)를 이산 시간 상태공간 모델의 계산 효율성과 융합함.
• 연속 시간 GP 사전분포를 활용하여 비정규 샘플링 시계열의 효과적인 모델링을 가능하게 함.
• 신경 미분방정식(Neural ODEs) 및 SDEs의 훈련 불안정성과 수치적 문제를 피하는 확장 가능한 순차적 VAE의 대안 개발.
• 고차원 시간적 및 시공간 데이터셋에서 경쟁 가능한 성능을 유지하면서도 선형 시간 복잡도를 확보함.

제안 방법

• 마르코프성 GP는 선형 스토케스틱 미분방정식(SDEs)을 통해 정확한 선형 상태공간 표현을 허용한다.
• 잠재 동역학은 선형 가우시안 상태공간으로 모델링되어 칼만 필터링 및 스무딩을 통해 효율적인 추론이 가능하다.
• 에ncoder의 출력은 잠재 상태에 대한 사후분포를 매개변수화하며, 이후 필터링 및 스무딩 절차를 통해 추론된다.
• 모델는 엔드 투 엔드로 기초 증거 하한 경계(ELBO)를 통해 훈련되며, 추론 중에 임의의 시간점 t에서 사후 예측 분포가 계산된다.
• GP 사전분포의 연속 시간 성격을 활용하여 정규 및 비정규 샘플링 시계열 모두를 지원한다.
• 효율적인 계산을 위해 JAX와 Objax를 사용하며, ELBO에 대한 확률적 경량 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 GPVAE의 계산 복잡도를 O(T³)에서 O(T)로 감소시킬 수 있을까? 이는 전역적 시간적 구조를 유지하는 데에도 유리한가?
• RQ2 가우시안 프로세스의 연속 시간 인덕티브 바이어스를 이산 선형 상태공간 모델의 효율성과 VAE 프레임워크 내에서 효과적으로 융합할 수 있는가?
• RQ3 제안된 MGPVAE는 긴, 고차원의, 비정규 샘플링 시계열에서 기존의 순차적 VAE보다 우수한 성능을 보일 수 있는가?
• RQ4 시공간 설정에서 예측 가능한 정확도로 새로운 시간점과 공간 위치로 일반화할 수 있는가?
• RQ5 MGPVAE의 선형 시간 훈련은 다양한 시간적 및 시공간 데이터셋에서 안정적이고 확장 가능한가?

주요 결과

• MGPVAE는 기후 데이터 및 로봇 제어 시계열을 포함한 고차원 시간적 및 시공간 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 모델는 새로운 시간점에서 강력한 일반화 성능을 보이며, 추론 중에 임의의 t에서 정확한 사후 예측 분포를 계산할 수 있다.
• ERA5 기후 데이터셋에서 MGPVAE는 SVGPVAE, VRNN, KVAE보다 낮은 테스트 NLL 및 RMSE를 기록했으며, 훈련 시간도 크게 단축시켰다.
• 모델는 선형 시간 복잡도를 유지하여 표준 GPVAE의 O(T³) 병목 현상 없이 긴 시계열(예: T=100)의 훈련이 가능하다.
• 비정규 샘플링 데이터에서 MGPVAE는 latentODE 및 CRU를 능가하며, 임의의 t ∈ (t₀, tₙ)에서 조건부 설정 및 예측이 가능하다.
• 칼만 필터링 및 스무딩을 활용하여 잠재 상태공간에서 정확한 사후 추론이 가능해져 훈련 안정성과 예측 정확도가 향상되었다.