[논문 리뷰] Dynamic sparsity on dynamic regression models

Paloma W. Uribe, Hedibert F. Lopes|arXiv (Cornell University)|2020. 09. 29.

Statistical Methods and Inference참고 문헌 20인용 수 11

한 줄 요약

이 논문은 시간에 따라 변화하는 회귀 모델에 대한 동적 스파이크 앤 슬래브 사전분포를 제안하며, 계수 분산에 대한 마르코프 전환 사전분포를 통해 동적 스파arsity를 가능하게 한다. 잠재 상태에 대한 조건부 게이블러 샘플러와 조건부 FFBS 단계를 조합함으로써, 효율적인 MCMC 샘플링을 달성하고 시뮬레이션 및 실재 인플레이션 예측 데이터에서 기존 방법보다 예측 정확도와 계산 속도에서 뛰어난 성능을 보인다.

ABSTRACT

In the present work, we consider variable selection and shrinkage for the Gaussian dynamic linear regression within a Bayesian framework. In particular, we propose a novel method that allows for time-varying sparsity, based on an extension of spike-and-slab priors for dynamic models. This is done by assigning appropriate Markov switching priors for the time-varying coefficients' variances, extending the previous work of Ishwaran and Rao (2005). Furthermore, we investigate different priors, including the common Inverted gamma prior for the process variances, and other mixture prior distributions such as Gamma priors for both the spike and the slab, which leads to a mixture of Normal-Gammas priors (Griffin ad Brown, 2010) for the coefficients. In this sense, our prior can be view as a dynamic variable selection prior which induces either smoothness (through the slab) or shrinkage towards zero (through the spike) at each time point. The MCMC method used for posterior computation uses Markov latent variables that can assume binary regimes at each time point to generate the coefficients' variances. In that way, our model is a dynamic mixture model, thus, we could use the algorithm of Gerlach et al (2000) to generate the latent processes without conditioning on the states. Finally, our approach is exemplified through simulated examples and a real data application.

연구 동기 및 목표

• 고차원 동적 회귀 모델에서 시간에 따라 변화하는 변수 선택 문제에 대응한다.
• 예측 변수의 중요성이 시간에 따라 변화하는 것을 포착하지 못하는 정적 스파arsity 방법의 한계를 극복한다.
• 시간에 따라 변화하는 계수에 대해 부드러움(슬래브)과 수축(스파이크)을 동시에 유도하는 확장 가능한 베이지안 프레임워크를 개발한다.
• 하이브리드 게이블러-FFBS 알고리즘을 사용해 잠재 상태와 계수를 함께 샘플링하여 MCMC 효율성을 향상시킨다.
• 31개의 예측 변수를 가진 시뮬레이션 데이터와 실제 인플레이션 예측에 대해 방법의 효과성을 입증한다.

제안 방법

• 시간에 따라 변화하는 계수의 분산에 마르코프 전환 사전분포를 적용한 스파이크 앤 슬래브 사전분포의 동적 확장을 제안한다.
• 계수 분산을 상태에 따라 의존적으로 모델링하며, 각 시점에서 포함(슬래브) 또는 배제(스파이크)를 나타내는 이진 잠재 변수를 사용한다.
• 계수에 대해 정규-감마 혼합 사전분포를 사용하여 시간에 따른 탄력적인 수축과 부드러움을 가능하게 한다.
• 잠재 상태에 대한 조건부 게이블러 샘플링과 계수에 대한 조건부 FFBS를 조합한 공동 MCMC 샘플링 체계를 구현한다.
• Gerlach 등 (2000)의 알고리즘을 활용해 제약 조건 없이 잠재 상태를 샘플링함으로써 혼합 성능을 향상시킨다.
• 체로프스키 분해를 사용해 효율적인 계산을 수행하는 시간에 따라 변화하는 파라미터를 가진 동적 선형 모델에 방법을 적용한다.

실험 결과

연구 질문

• RQ1 스파이크 앤 슬래브 사전분포는 어떻게 동적 회귀 모델에서 시간에 따라 변화하는 스파arsity를 지원할 수 있는가?
• RQ2 계수 분산에 마르코프 전환 사전분포를 사용할 경우 동적 변수 선택에 어떤 영향을 미치는가?
• RQ3 제안된 MCMC 체계는 동적 시스템에서 전체 조건부 샘플링에 비해 효율성과 혼합 성능 측면에서 어떻게 비교되는가?
• RQ4 기존 방법보다 고차원이고 시간에 따라 변화하는 설정에서 더 높은 예측 정확도를 달성할 수 있는가?
• RQ5 31개의 예측 변수를 가진 실세계 인플레이션 예측에서 동적 스파arsity 모델은 어떻게 성능을 발휘하는가?

주요 결과

• 시뮬레이션 예제에서 동적 NMIG 사전분포는 평균 RMSE 0.2472와 중앙값 RMSE 0.2863를 기록하여 라플라스 및 NG 사전분포를 초월했다.
• 인플레이션 예측 응용에서 제안된 방법은 NGAR 모델과 유사한 결과를 도출했으며, NMIG 평균이 NGAR의 빨간 선과 거의 일치했다.
• NMIG 사전분포에서 도출된 95% 신뢰구간은 좁고 잘 校정되어 있어 신뢰할 수 있는 불확실성 정량화를 보여주었다.
• 잠재 상태와 계수를 함께 샘플링함으로써 계산 효율성이 향상되었으며, 느린 전체 조건부 업데이트를 피할 수 있었다.
• 전이 확률에 대해 베타 사전분포를 사용하고, 경험 베이지안을 통해 초모수를 조정함으로써 모델의 안정성과 수렴 성능이 향상되었다.
• 모델은 예측 변수의 시간에 따라 변화하는 중요성을 성공적으로 포착했으며, 동적 스파arsity는 시간에 따라 변화하는 경제 조건을 반영했다.