[논문 리뷰] Spatio-Temporal Variational Gaussian Processes

Oliver Hamelijnck, William J. Wilkinson외 3명|Warwick Research Archive Portal (University of Warwick)|2021. 11. 02.

Gaussian Processes and Bayesian Inference참고 문헌 49인용 수 4

한 줄 요약

이 논문은 자연 경사 변분 추론과 시공간 필터링 및 스무딩을 결합한 확장 가능한 대규모 시공간 모델링 방법인 시공간 변분 가우시안 프로세스(Spatio-Temporal Variational Gaussian Processes, ST-VGP)를 소개한다. 이 방법은 시간 단계 수에 대해 선형 시간 복잡도를 달성하고, 병렬 필터링을 통해 시간 범위 복잡도를 로그 형태로 낮추며, 분離 가능한 커널 하에서 표준 변분 GP와 정확히 동일한 결과를 보장함으로써, 더 많은 유도 점을 사용함으로써 예측 성능을 향상시키면서도 대규모 시공간 데이터 세트에 대해 효율적이고 정확한 추론을 가능하게 한다.

ABSTRACT

We introduce a scalable approach to Gaussian process inference that combines spatio-temporal filtering with natural gradient variational inference, resulting in a non-conjugate GP method for multivariate data that scales linearly with respect to time. Our natural gradient approach enables application of parallel filtering and smoothing, further reducing the temporal span complexity to be logarithmic in the number of time steps. We derive a sparse approximation that constructs a state-space model over a reduced set of spatial inducing points, and show that for separable Markov kernels the full and sparse cases exactly recover the standard variational GP, whilst exhibiting favourable computational properties. To further improve the spatial scaling we propose a mean-field assumption of independence between spatial locations which, when coupled with sparsity and parallelisation, leads to an efficient and accurate method for large spatio-temporal problems.

연구 동기 및 목표

• 표준 가우시안 프로세스가 시공간 설정에서 입는 입방형 계산 복잡도 문제를 해결하기 위해.
• 대규모 시공간 데이터에서 다변량이고 비공액 확률 분포를 위한 확장 가능한 추론을 가능하게 하기 위해.
• 시간 단계 수에 대해 선형 시간 복잡도를 달성하면서도 표준 변분 GP의 정확성을 유지하기 위해.
• 평균장 근사와 희소성 기반으로 공간적 확장성을 향상시키기 위해.
• 시공간 필터링에 자연 경사가 적용될 경우, 최신 변분 GP 수준의 효율적이고 정확한 추론이 가능함을 입증하기 위해.

제안 방법

• 시간 단계 수에 대해 선형 시간 복잡도를 달성하기 위해 순차적 필터링 및 스무딩을 활용한 자연 경사 변분 추론을 적용한다.
• 공간 유도 점의 감소된 집합 위에 상태공간 모델을 구성함으로써 희소 근사를 도출한다.
• 병렬 필터링 및 스무딩을 활용해 시간 범위 복잡도를 시간 단계 수에 대해 로그 형태로 감소시킨다.
• 공간 위치 간 상호 의존성이 없음을 가정하는 평균장 근사를 통해 공간적 확장성을 추가로 향상시킨다.
• 특히 분리 가능한 마르코프 커널에 대해 효율적인 계산을 가능하게 하기 위해 모델을 재구성한다.
• 표준 SVGP와 분리 가능한 커널 하에서 정확히 동일한 결과를 보장하기 위해 자연 경사 기반의 변분 하한을 사용해 근사 사후분포를 최적화한다.

실험 결과

연구 질문

• RQ1 자연 경사 변분 추론과 시공간 필터링을 효과적으로 조합하여 시간 차원에서 선형 시간 복잡도를 달성할 수 있는가?
• RQ2 제안된 방법이 분리 가능한 마르코프 커널 하에서 표준 변분 GP와 정확히 동일한 결과를 유지하면서도 확장성을 향상시키는가?
• RQ3 병렬 필터링 및 스무딩이 대규모 시공간 모델에서 시간 범위 복잡도를 입방형에서 로그형태로 감소시킬 수 있는가?
• RQ4 공간 위치 간 평균장 근사는 예측 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ5 표준 방법보다 훨씬 더 많은 유도 점을 사용하는 대규모 데이터 세트에 대해 이 방법이 확장 가능하며, 예측 성능을 향상시킬 수 있는가?

주요 결과

• ST-VGP는 시간 단계 수에 대해 선형 시간 복잡도를 달성하여 계산 비용을 입방형에서 선형으로 감소시킨다.
• 병렬 필터링 및 스무딩을 통해 시간 범위 복잡도를 로그 형태로 낮춰 장기간의 시계열 데이터에 대한 효율적 추론을 가능하게 한다.
• 분리 가능한 마르코프 커널 하에서 전체 및 희소 ST-VGP 모델은 표준 변분 GP를 정확히 복원하므로 기존 방법과 일관성을 확보한다.
• 공간 위치 간 평균장 근사, 희소성 및 병렬 처리를 조합함으로써 정확도를 유지하면서도 공간적 확장성을 크게 향상시킨다.
• 합성 데이터에서 ST-VGP는 가장 큰 데이터 세트(데이터 세트 5)에서 테스트 RMSE 0.45 ± 0.11을 기록했으며, SVGP 및 MF-ST-VGP보다 더 낮은 오차와 안정성을 보였다.
• 나무 수와 대기 질과 같은 실제 데이터 세트에서 ST-VGP는 고해상도 분할 기반으로 더 낮은 테스트 음수 예측 로그 가능성(NLPD)을 기록하여 더 높은 예측 정확도를 입증했다.