[논문 리뷰] Locally adaptive factor processes for multivariate time series

Daniele Durante, Bruno Scarpa외 1명|arXiv (Cornell University)|2012. 10. 07.

Gaussian Processes and Bayesian Inference참고 문헌 39인용 수 36

한 줄 요약

이 논문은 다변량 시간열에서 평균과 공분산 행렬의 시간에 따라 변화하는 스무딩 특성을 네스팅된 가우시안 프로세스와 희소 선형 사상으로 모델링하는 局소적 적응성 인자(LAF) 과정을 제안한다. 미분방정식 표현을 활용함으로써, 효율적인 MCMC 및 온라인 추론이 가능해지며, 고정 스무딩 모델에 비해 급격한 변화와 느린 변화를 더 잘 포착한다. 금융 데이터에서 예측 캘리브레이션과 불확실성 정량화 향상이 입증되었다.

ABSTRACT

In modeling multivariate time series, it is important to allow time-varying smoothness in the mean and covariance process. In particular, there may be certain time intervals exhibiting rapid changes and others in which changes are slow. If such time-varying smoothness is not accounted for, one can obtain misleading inferences and predictions, with over-smoothing across erratic time intervals and under-smoothing across times exhibiting slow variation. This can lead to mis-calibration of predictive intervals, which can be substantially too narrow or wide depending on the time. We propose a locally adaptive factor process for characterizing multivariate mean-covariance changes in continuous time, allowing locally varying smoothness in both the mean and covariance matrix. This process is constructed utilizing latent dictionary functions evolving in time through nested Gaussian processes and linearly related to the observed data with a sparse mapping. Using a differential equation representation, we bypass usual computational bottlenecks in obtaining MCMC and online algorithms for approximate Bayesian inference. The performance is assessed in simulations and illustrated in a financial application.

연구 동기 및 목표

• 기존 모델이 다변량 시간열의 평균 및 공분산 과정에서 국소적으로 변화하는 스무딩 특성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 역동적 평균-공분산 구조에서 급격한 변화와 느린 변화에 적응할 수 있는 비모수적 베이지안 모델을 개발하기 위해.
• 시간에 따라 변화하는 스무딩 특성을 갖는 고차원 다변량 시간열에 대해 계산이 효율적인 MCMC 및 온라인 추론을 가능하게 하기 위해.
• 변동성이 높은 기간에는 과도하게 스무딩되지 않고 안정적인 기간에는 과소 스무딩되지 않도록 하여 예측 정확도와 불확실성 캘리브레이션을 향상시키기 위해.
• 구조화된 계층적 구성으로 공분산 행렬의 정의역 유지 및 결측치 처리를 가능하게 하기 위해.

제안 방법

• LAF 과정은 시간에 따라 변화하는 스무딩 특성을 평균과 공분산에 대해 모델링하기 위해, 네스팅된 가우시안 프로세스를 통해 진화하는 잠재 사전 함수를 사용한다.
• 관측된 데이터는 희소 사상 행렬 Θ를 통해 잠재 과정과 선형적으로 관련되어 있으며, 이는 차원 축소와 계산 효율성을 보장한다.
• 상태공간 과정의 미분방정식 표현을 활용하여 MCMC 및 온라인 추론에서 발생하는 계산적 블로킹을 피한다.
• 글로벌 및 로컬 하이퍼파rameter를 사용한 계층적 수축 사전분포를 인자 하중에 도입하여 희소성과 적응성을 유도한다.
• 공액 사후분포를 사용하여 반복적으로 잠재 상태, 인자 하중, 하이퍼파rameter를 갱신하는 게비스 샘플러를 통해 사후 추론을 수행한다.
• 모델 파라미터를 사후 평균으로 고정하고 시뮬레이션 스무딩을 사용하여 잠재 상태와 예측 분포를 순차적으로 갱신함으로써 온라인 업데이트 알고리즘을 개발한다.

실험 결과

연구 질문

• RQ1 비모수적 베이지안 모델이 고정 스무딩 모델에 비해 다변량 시간열의 평균과 공분산에서 국소적으로 변화하는 스무딩 특성을 더 효과적으로 포착할 수 있는가?
• RQ2 공분산 행렬의 정의역 유지 조건을 유지하면서 평균-공분산 과정에서 시간에 따라 변화하는 스무딩 특성을 어떻게 모델링할 수 있는가?
• RQ3 복잡한 동적 의존성 구조를 갖는 고차원 다변량 시간열에 대해 확장 가능한 MCMC 및 온라인 추론을 가능하게 하는 계산 전략은 무엇인가?
• RQ4 국소적 적응성 스무딩은 변동성이 높은 금융 시간열에서 예측 간격의 캘리브레이션과 리스크 예측에 얼마나 기여하는가?
• RQ5 결측치 및 비 stationary 변동성 패턴이 존재할 경우 모델의 성능은 어떻게 되는가?

주요 결과

• LAF 과정은 평균과 공분산 양쪽에서 국소적으로 변화하는 스무딩 특성을 성공적으로 포착하였으며, 변동성이 높은 기간에는 과도한 스무딩을 피하고 안정적인 기간에는 과소 스무딩을 방지하였다.
• 모델은 예측 간격의 캘리브레이션을 향상시켰으며, 다양한 변동성 제도에서 간격이 너무 좁거나 너무 넓어지지 않도록 하였다.
• 미분방정식 표현 덕분에 효율적인 MCMC 및 온라인 추론이 가능해졌으며, 전통적인 MCMC 접근법 대비 계산 비용을 크게 감소시켰다.
• 공액 사전분포를 사용한 게비스 샘플러 덕분에, 중간 크기의 p에 대해서도 안정적이고 해석 가능한 사후 계산이 가능했다.
• 온라인 업데이트 알고리즘은 하이퍼파ram터의 사후 평균과 시뮬레이션 스무딩을 사용하여 잠재 상태를 순차적으로 갱신함으로써 예측 정확도를 유지하였다.
• DAX30 제곱 로그 수익률에 대한 실증 결과는 LAF 모델이 고정 스무딩 대안에 비해 역동적 변동성과 공동 움직임 패턴을 더 잘 포착함을 보여주었다.