[논문 리뷰] Bayesian Inference in High-Dimensional Time-varying Parameter Models using Integrated Rotated Gaussian Approximations

Florian Huber, Gary Koop외 1명|arXiv (Cornell University)|2020. 02. 24.

Statistical Methods and Inference참고 문헌 27인용 수 7

한 줄 요약

이 논문은 고차원 시간 변화 파am터(TVP) 모델에서 계산적으로 효율적인 베이지안 추론을 위한 통합 회전 가우시안 근사(IRGA)를 제안한다. 가우시안 분포의 회전 불변성을 활용하여, 일정 계수와 고차원 TVP를 분리하고, TVP에는 빠른 근사 방법(VAMP)을, 계수에는 정밀한 MCMC를 사용함으로써, 확률적 변동성을 갖는 큰 거시경제 모델에서의 확장 가능한 예측 및 구조 분석을 가능하게 한다.

ABSTRACT

Researchers increasingly wish to estimate time-varying parameter (TVP) regressions which involve a large number of explanatory variables. Including prior information to mitigate over-parameterization concerns has led to many using Bayesian methods. However, Bayesian Markov Chain Monte Carlo (MCMC) methods can be very computationally demanding. In this paper, we develop computationally efficient Bayesian methods for estimating TVP models using an integrated rotated Gaussian approximation (IRGA). This exploits the fact that whereas constant coefficients on regressors are often important, most of the TVPs are often unimportant. Since Gaussian distributions are invariant to rotations we can split the the posterior into two parts: one involving the constant coefficients, the other involving the TVPs. Approximate methods are used on the latter and, conditional on these, the former are estimated with precision using MCMC methods. In empirical exercises involving artificial data and a large macroeconomic data set, we show the accuracy and computational benefits of IRGA methods.

연구 동기 및 목표

• 많은 설명 변수를 갖는 고차원 TVP 모델에서 MCMC 기반 베이지안 추정의 계산 불가능성을 해결하기 위해.
• 대규모 TVP-VAR를 효율적으로 처리하면서도 예측 및 구조 분석의 정확성을 유지하는 방법을 개발하기 위해.
• 기존 연구가 동질적 오차에 국한된 바를 넘어서, IRGA 프레임워크에 확률적 변동성을 통합하기 위해.
• TVP 모델이 일정 계수 모델을 초월해 의미 있는 통찰을 제공함을 보여주기 위해, 특히 소규모에서 중간 규모의 정보 집합에서.
• 표준 MCMC 방법이 계산이 불가능한 대규모 모델에서 실용적인 계산 시간을 확보할 수 있음을 보여주기 위해.

제안 방법

• IRGA는 매개변수 공간을 두 블록으로 분할한다: 관심 대상인 일정 계수와 고차원 시간 변화 파am터(부수적 요소)로, 가우시안 사전분포의 회전 불변성을 활용한다.
• 고차원 TVP 블록은 고차원 추론을 위한 빠르고 확장 가능한 알고리즘인 벡터 근사 메시지 전달(VAMP)을 사용해 근사한다.
• TVP의 VAMP 근사 조건 하에서, 일정 계수는 고정밀도 MCMC로 추정되어 핵심 매개변수의 정확성을 보장한다.
• 상태공간 표현을 통해 확률적 변동성을 통합함으로써, 시간 변화 오차 분산을 갖는 모델로 IRGA를 확장한다.
• TVP에 대한 스파arsity를 유도하기 위해 축소 사전분포인 SBL 및 S&S 사전분포를 사용하여 시간 변화 계수의 민감한 탐지가 가능하도록 한다.
• 인공 데이터와 대규모 미국 거시경제 데이터셋을 사용하여 방법을 검증하였으며, MCMC 기준 및 일정 계수 모델과의 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 표준 MCMC가 계산이 불가능한 고차원 TVP 모델에서 IRGA가 정확하고 계산적으로 효율적인 베이지안 추론을 제공할 수 있는가?
• RQ2 IRGA 프레임워크에 확률적 변동성을 통합함으로써 계산 효율성은 유지되면서도 모델 적합도가 향상되는가?
• RQ3 IRGA로 추정한 TVP-VAR 모델은 다양한 모델 크기에서 일정 계수 VAR 모델과 비교해 예측 성능가능한가?
• RQ4 어느 정도의 모델 차원에서 시간 변화 계수는 일정 계수 모델과 비교해 충격 반응 역학을 의미 있게 변화시키는가?
• RQ5 특히 불확실성 충격에 대한 반응에서, IRGA 기반 TVP 모델은 일정 계수 모델이 포착하지 못하는 구조적 통찰을 어느 정도 제공하는가?

주요 결과

• IRGA는 대규모 모델에서 표준 MCMC 기준과 유사한 예측 성능를 달성하면서도 계산 시간을 수개월 수준으로 감소시켰다.
• 2005–2019년 대규모 거시경제 데이터셋에서, IRGA 기반 TVP-VAR는 일정 계수 기준보다 외부 예측 정확도에서 뛰어난 성능을 보였다.
• 소규모 및 중간 규모 VAR에서, TVP 모델과 일정 계수 모델 간 충격 반응 차이의 사후 신뢰구간은 자주 0을 포함하지 않아 의미 있는 구조적 차이를 시사한다.
• 대규모 모델에서는 충격 반응 차이의 사후 신뢰구간이 0을 포함하여, 많은 회귀변수를 포함한 상황에서는 계수의 시간 변화가 영향을 미치지 않는다는 것을 시사한다.
• IRGA 방법은 확률적 변동성을 성공적으로 통합하여, 이질적 오차 분산을 갖는 모델에서 계산 속도를 유지하면서도 강건한 추론이 가능하게 하였다.
• 실증 결과는 IRGA로 추정한 TVP 모델이 일정 계수 모델에서는 확보할 수 없는 통찰을 제공함을 확인하였으며, 특히 변수 누락 편향이 우려되는 소규모 정보 집합에서 두드러진다.