[논문 리뷰] Shrinkage in the Time-Varying Parameter Model Framework Using the R Package shrinkTVP

Peter Knaus, Angela Bitto-Nemling외 2명|arXiv (Cornell University)|2019. 07. 16.

Statistical Methods and Inference참고 문헌 37인용 수 7

한 줄 요약

이 논문은 시간에 따라 변화하는 계수 모델(TVP 모델)에 계층적 수축 사전분포를 사용하여 수축을 구현하는 R 패키지 shrinkTVP를 소개한다. 이는 정규-감마-감마(NGG), 정규-감마(NG), 그리고 리지 회귀 사전분포를 포함한다. 이 방법은 자동으로 초모수를 학습함으로써 시간에 따라 변화하는 계수의 적응형 추정을 가능하게 하며, 적응형 메트로폴리스-내부 기각 샘플링을 사용한 MCMC를 통해 영향력 있고 민감하며 확장 가능한 추론을 제공한다.

ABSTRACT

Time-varying parameter (TVP) models are widely used in time series analysis to flexibly deal with processes which gradually change over time. However, the risk of overfitting in TVP models is well known. This issue can be dealt with using appropriate global-local shrinkage priors, which pull time-varying parameters towards static ones. In this paper, we introduce the R package shrinkTVP (Knaus, Bitto-Nemling, Cadonna, and Frühwirth-Schnatter 2019), which provides a fully Bayesian implementation of shrinkage priors for TVP models, taking advantage of recent developments in the literature, in particular that of Bitto and Frühwirth-Schnatter (2019). The package shrinkTVP allows for posterior simulation of the parameters through an efficient Markov Chain Monte Carlo (MCMC) scheme. Moreover, summary and visualization methods, as well as the possibility of assessing predictive performance through log predictive density scores (LPDSs), are provided. The computationally intensive tasks have been implemented in C++ and interfaced with R. The paper includes a brief overview of the models and shrinkage priors implemented in the package. Furthermore, core functionalities are illustrated, both with simulated and real data.

연구 동기 및 목표

• 시간에 따라 변화하는 계수 모델에 대해 자동으로 계수를 수축시키는 유연한 베이지안 프레임워크를 개발하는 것.
• 특히 NGG, NG, 리지 회귀를 포함한 계층적 수축 사전분포를 통합된 R 패키지 내에 구현하는 것.
• 제안 분포의 조정을 자동으로 수행하는 적응형 MCMC 샘플링을 통해 혼합성과 수렴성을 향상시키는 것.
• stochvol 패키지와의 통합을 통해 관측식 방정식에서의 변동성 모델링을 지원하는 것.
• 사용자가 전역, 다항, 꼬리 초모수를 고정하거나 학습시킬 수 있도록 모든 사전분포 초모수에 대한 완전한 제어를 제공하는 것.

제안 방법

• 시간에 따라 변화하는 계수는 조건부 정규분포로 모델링되며, 분산은 감마 혼합에서 추출되며, 이는 NGG 사전분포를 형성한다.
• 세 단계의 계층적 사전분포: 구성요소별 분산은 감마 분포를 따르며, 이는 다항, 꼬리, 전역 초모수에 의해 영향을 받는다.
• 완전한 조건부 분포가 없는 경우에 대해 적응형 메트로폴리스-내부 기각 샘플링을 적용하며, 수용률에 기반해 제안 표준편차를 동적으로 조정한다.
• `mod_type` 인수를 통해 세 가지 모델 유형을 지원한다: 'triple'(NGG), 'double'(NG), 'ridge'(고정 분산 정규 사전분포).
• stochvol 패키지와의 통합을 통해 상태에 따라 달라지는 관측 오차 분산을 허용하며, 변동성 파라미터에 대한 초모수를 제공한다.
• `hyperprior_param` 및 `sv_param` 목록을 통해 초모수를 노출하여 사용자가 사전분포를 사용자 정의하거나 특정 추론 목표를 위해 특정 값을 고정할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 계층적 수축 사전분포는 시간에 따라 변화하는 계수 모델에 어떻게 효과적으로 적용되어 계수 추정과 모델 안정성을 향상시킬 수 있는가?
• RQ2 NGG, NG, 리지와 같은 다양한 계층적 사전분포 구조는 TVP 모델의 수축 행동과 예측 성능에 어떤 영향을 미치는가?
• RQ3 적응형 메트로폴리스-내부 기각 샘플링은 고차원 TVP 모델에서 MCMC 수렴성과 혼합성을 어떻게 향상시키는가?
• RQ4 shrinkTVP 패키지는 다양한 희박성 수준과 시간에 따라 변화하는 동역학을 가진 시뮬레이션 데이터에서 진짜 계수를 신뢰성 있게 복원할 수 있는가?
• RQ5 패키지는 계산 효율성과 정확한 추론을 유지하면서 관측식 방정식에서의 변동성 모델링을 어느 정도까지 지원할 수 있는가?

주요 결과

• NGG 사전분포는 말뚝과 베이지안 라소를 한계 경우로 포함하여, 무거운 尾과 희박한 행동을 가진 민감한 수축을 가능하게 한다.
• NGG 사전분포의 다항 및 꼬리 파라미터를 0.5로 설정하면 말뚝 사전분포를 복원하며, 이는 불필요한 계수의 강력한 수축이 알려져 있다.
• 다항 파라미터를 1로 고정하고 꼬리 파라미터를 0.5로 설정하면 베이지안 라소를 회복하며, 이는 패키지가 표준 수축 방법을 복원할 수 있음을 보여준다.
• 적응형 메트로폴리스-내부 기각 샘플링은 특히 주요 초모수의 완전한 조건부 분포가 없는 경우 MCMC 혼합성을 크게 향상시킨다.
• 데이터 생성 과정이 가정된 사전분포 구조와 일치할 경우, 패키지는 시뮬레이션 데이터에서 진짜 계수를 성공적으로 복원한다.
• 다항 파라미터를 0에 가까운 값으로 고정함으로써 사용자는 원하는 정도의 희박성을 달성할 수 있으며, 이는 불필요한 시간에 따라 변화하는 계수의 타겟 수축을 가능하게 한다.