[논문 리뷰] Achieving Parsimony in Bayesian VARs with the Horseshoe Prior

Lendie Follett, Cindy Yu|arXiv (Cornell University)|2017. 09. 21.

Forecasting Techniques and Applications참고 문헌 21인용 수 4

한 줄 요약

이 논문은 비선형성과 관련 없는 계수를 0에 수렴시키면서도 중요한 신호를 유지함으로써 단순성을 달성하기 위해 베이지안 VAR 모델에 말발굽 사전(prior)을 도입한다. 시뮬레이션과 실증 분석을 통해 말발굽 사전은 전통적인 수축 사전보다 우수한 예측 정확도를 보이며, 예측 정확도에서 이산 혼합 사전과 경쟁하고, RMSFE가 낮고 계산 효율성이 뛰어나다.

ABSTRACT

In the context of a vector autoregression (VAR) model, or any multivariate regression model, the number of relevant predictors may be small relative to the information set available from which to build a prediction equation. It is well known that forecasts based off of (un-penalized) least squares estimates can overfit the data and lead to poor predictions. Since the Minnesota prior was proposed (Doan et al. (1984)), there have been many methods developed aiming at improving prediction performance. In this paper we propose the horseshoe prior (Carvalho et al. (2010), Carvalho et al. (2009)) in the context of a Bayesian VAR. The horseshoe prior is a unique shrinkage prior scheme in that it shrinks irrelevant signals rigorously to 0 while allowing large signals to remain large and practically unshrunk. In an empirical study, we show that the horseshoe prior competes favorably with shrinkage schemes commonly used in Bayesian VAR models as well as with a prior that imposes true sparsity in the coefficient vector. Additionally, we propose the use of particle Gibbs with backwards simulation (Lindsten et al. (2012), Andrieu et al. (2010)) for the estimation of the time-varying volatility parameters. We provide a detailed description of all MCMC methods used in the supplementary material that is available online.

연구 동기 및 목표

• 고차원 베이지안 VAR 모델에서의 과적합 문제를 해결하기 위해, 계수 추정을 단순화할 수 있는 사전을 도입하기 위해.
• 다양한 시계열 예측의 맥락에서, 관련 없는 계수를 0으로 수축시키면서도 큰 신호를 유지할 수 있는 능력으로 유명한 말발굽 사전의 성능을 평가하기 위해.
• 베이지안 VAR 프레임워크 내에서 전통적인 수축 사전(예: 릿지, 라플라스)과 이산 혼합 사전을 대비하여 말발굽 사전의 예측 성능을 비교하기 위해.
• 시간에 따라 변하는 변동성의 추정을 위해, 뒤로 정렬된 시뮬레이션을 사용하는 입자 깁스 샘플러(Particle Gibbs with backwards simulation, PGBS)를 활용한 효율적인 MCMC 알고리즘을 개발하고 구현하기 위해.
• 특히 중간 크기의 VAR에서, 이산 혼합 사전과 비교해 말발굽 사전의 해석 가능성과 계산 가능성을 평가하기 위해.

제안 방법

• 베이지안 VAR에서 각 계수에 개별적인 국소 수축 파라미터를 부여하며, 이는 반-카우치 분포에서 추출된다.
• 전반적인 수축을 제어하기 위해 글로벌 수축 파라미터를 도입하여, 관련 없는 계수에는 극도로 강한 수축을, 중요한 계수에는 최소한의 수축을 적용한다.
• 시간에 따라 변하는 변동성과 계수 파라미터를 동시에 추정하기 위해 입자 깁스 샘플러와 뒤로 정렬된 시뮬레이션(PGBS)을 구현하여, MCMC의 혼합과 수렴을 향상시킨다.
• 각 시리즈의 로그 분산에 대해 랜덤 워크를 적용하여 스토케스틱 변동성 모델링을 수행하며, 정적 상관행렬에 비정보적 사전을 적용한다.
• MCMC 샘플링을 통해 계수, 변동성, 포함 지표의 사후분포를 추정하며, 조건부 사후분포 유도 과정은 보조 자료에 제공된다.
• RMSFE(예측오차의 제곱근 평균제곱오차)를 주요 평가 지표로 사용하여, 말발굽 사전을 릿지, 라플라스, 이산 혼합, 미네소타 스타일 사전과 비교한다.

실험 결과

연구 질문

• RQ1 말발굽 사전은 이산 혼합 사전 수준의 예측 성능를 달성하면서도 계산 비용이 더 낮은가?
• RQ2 고차원 거시경제 VAR에서 관련 없는 계수를 0으로 수축시키는 말발굽 사전의 능력이 예측 정확도에 어떤 영향을 미치는가?
• RQ3 말발굽 사전의 RMSFE 성능가 전통적인 수축 사전(릿지, 라플라스)과 비교해 다수의 거시경제 변수에서 어떻게 나타나는가?
• RQ4 시간에 따라 변하는 변동성 모델링이 말발굽 사전과 함께 예측 정확도를 얼마나 향상시키는가?
• RQ5 말발굽 사전의 국소 수축 파라미터의 사후밀도는 다변량 예측 모델에서 계수 중요도의 해석 가능성에 어떻게 기여하는가?

주요 결과

• 실증 연구에서 말발굽 사전은 모든 시리즈의 평균 RMSFE를 가장 낮게 기록하여, 릿지, 라플라스, 미네소타 스타일 사전을 모두 앞선다.
• 이산 혼합 사전가 알려진 정확한 희박성 특성을 지닌 것과 유사한 수준의 예측 성능를 기록하지만, 말발굽 사전는 훨씬 낮은 계산 비용으로 이를 달성한다.
• 말발굽 사전의 RMSFE 평균은 0.834이며, 이산 혼합 사전의 0.857보다 낮아, 일관된 예측 정확도 향상을 나타낸다.
• 국소 수축 파라미터 $\kappa_{ijk}^{HS}$ 를 통한 말발굽 사전의 사후 수축 프로필은 후행 포함 확률과 신호 계수 중요도와 시각적으로 일치하여, 설명 가능성이 높다.
• 뒤로 정렬된 시뮬레이션을 사용하는 입자 깁스 샘플러 알고리즘은 시간에 따라 변하는 변동성과 계수를 효율적으로 동시 추정할 수 있게 하여, 고차원 모델에서 MCMC의 효율성을 향상시킨다.
• 이산 혼합 사전과 비교해 말발굽 사전는 MCMC 샘플링에서 이진 포함 지표가 없기 때문에 계산 비용이 더 낮으며, 예측 성능와 해석 가능성의 우수성을 유지한다.