[논문 리뷰] Gaussian variational approximation for high-dimensional state space models

Matias Quiroz, David J. Nott외 1명|arXiv (Cornell University)|2018. 01. 24.

Gaussian Processes and Bayesian Inference참고 문헌 60인용 수 18

한 줄 요약

이 논문은 고차원 상태공간 모델에 대해 동적 인자 모형을 활용하여 변분 사후 공분산 행렬을 효율적으로 매개변수화하는 가우시안 변분 근사법을 제안한다. 상태 차원을 감소시키고 마르코프성 시간 의존성을 활용함으로써, 이 방법은 효율적인 확률적 경사 최적화를 가능하게 하며, 새총 이동의 시공간 모델링과 금융에서의 다변량 변동성 모델링이라는 두 가지 고차원 응용에서 정확한 예측 추론을 제공한다.

ABSTRACT

Our article considers a Gaussian variational approximation of the posterior density in a high-dimensional state space model. The variational parameters to be optimized are the mean vector and the covariance matrix of the approximation. The number of parameters in the covariance matrix grows as the square of the number of model parameters, so it is necessary to find simple yet effective parameterizations of the covariance structure when the number of model parameters is large. We approximate the joint posterior distribution over the high-dimensional state vectors by a dynamic factor model, having Markovian time dependence and a factor covariance structure for the states. This gives a reduced description of the dependence structure for the states, as well as a temporal conditional independence structure similar to that in the true posterior. The usefulness of the approach is illustrated for prediction in two high-dimensional applications that are challenging for Markov chain Monte Carlo sampling. The first is a spatio-temporal model for the spread of the Eurasian Collared-Dove across North America; the second is a Wishart-based multivariate stochastic volatility model for financial returns.

연구 동기 및 목표

• 고차원 상태공간 모델에서 전체 공분산 매개변수화의 계산 비용 문제를 해결하기 위해 변분 매개변수의 수를 줄이기.
• 복잡한 모델에도 불구하고 정확한 불확실성 측정 및 예측 성능를 유지하는 확장 가능한 변분 추론 방법 개발하기.
• MCMC 샘플링이 계산적으로 비현실적인 고차원 설정에서 효율적인 사후 근사 제공하기.
• 상태 벡터의 횡단적 의존성과 시간적 상관관계를 모두 포착하기 위해 동적 인자 모형 구조 활용하기.
• 시공간 확산 모델링과 다변량 변동성 추정이라는 두 가지 실제 고차원 문제에서 방법의 효과성 입증하기.

제안 방법

• 저랭크 구조를 통해 조건부 독립성을 유도함으로써 상태 차원을 감소시키고 변분 사후 공분산 행렬을 동적 인자 모형으로 매개변수화하기.
• 요소들을 일계 마르코프 과정으로 모델링하여 정밀도 행렬의 희박성 유도 및 효율적 계산 가능하게 하기.
• 재구성 기법을 사용한 확률적 경사 상승법을 통해 고차원에서 ELBO(하한 증거)를 효율적으로 최적화하기.
• 변분 추론 절차에서 행렬 연산을 가속화하기 위해 우드베리 공식 적용하여 확장성 확보하기.
• 진짜 사후의 조건부 독립 구조를 따라 변분 정밀도 행렬의 희박성 패턴을 맞추기.
• 고차원 상태공간에서 계산 부담을 추가로 줄이기 위해 변분 사후의 평균을 저차원 매개변수화로 설정하기.

실험 결과

연구 질문

• RQ1 변분 사후 공분산 행렬에 동적 인자 구조를 도입함으로써 고차원 상태공간 모델에서 매개변수 수를 줄이면서도 예측 정확도를 유지할 수 있는가?
• RQ2 고차원 시공간 및 금융 시계열에서 MCMC와 비교해 볼 때 제안된 가우시안 변분 근사법의 예측 밀도 추정 성능은 어떠한가?
• RQ3 재구성 기법을 사용한 확률적 경사 최적화는 고차원 설정에서 어떻게 확장 가능한 추론을 가능하게 하는가?
• RQ4 기반 인자 공분산 매개변수화는 복잡한 시간적 및 공간적 의존성 구조를 가진 모델에서 진짜 사후의 핵심 의존성 구조를 잘 포착하는가?
• RQ5 진짜 사후가 비대칭성이나 무거운 尾을 띠더라도 방법은 신뢰할 수 있는 불확실성 측정 및 예측 구간을 유지할 수 있는가?

주요 결과

• 동적 인자 모형 매개변수화로 인해 변분 매개변수의 수가 크게 감소하여 최대 78개 상태를 가진 고차원 상태공간 모델에서도 추론이 가능해졌다.
• 실제 데이터 예측 밀도 비교를 통해 유라시아 둥근비둘기 시공간 모델과 다변량 변동성 모델 양쪽 모두에서 MCMC와 유사한 예측 성능를 달성했다.
• 12개 자산을 가진 다변량 변동성 모델에서, 변분 근사법은 모든 예측 수준 h=1,2,3,4에서 테스트 관측치가 포함된 예측 구간을 성공적으로 생성했다.
• 실제 데이터 예제의 내부 예측에서는 변분 예측 밀도가 오라클(진짜) 사후 밀도와 매우 유사했으며, 관측된 데이터 점이 모두 예측 구간 내에 포함되었다.
• 실제 데이터 예제에서 ELBO 추정치는 높은 변동성에도 불구하고 반복 과정 동안 안정화되어 확률적 최적화 절차의 수렴을 시사했다.
• 다양한 데이터 실현과 매개변수 설정에서 일관된 성능를 보이며 시뮬레이션 및 실제 데이터셋 모두에서 강건성을 입증했다.