[논문 리뷰] Sparse Autoregressive Processes for Dynamic Variable Selection

Veronika Ročková|arXiv (Cornell University)|2017. 07. 31.

Statistical Methods and Inference인용 수 1

한 줄 요약

이 논문은 시간에 따라 변화하는 계수의 흐림을 부드럽고 자기회귀적인 활성 계수와 간헐적인 영 coefficients로 모델링함으로써 시간적 변화하는 계수 흐림을 허용하는 동적 스파이크-슬랩(DSS) 사전분포를 제안한다. 이 방법은 사후 추론을 위해 전진 필터링과 후진 샘플링을 사용하며, 확장성을 확보하기 위해 동적 EMVS 알고리즘을 도입하여 대규모 시간 시리즈 데이터셋에서 활성/노이즈 계수의 분리 성능을 크게 향상시킨다.

ABSTRACT

We address the problem of dynamic variable selection in time series regression with unknown residual variances, where the set of active predictors is allowed to evolve over time. To capture time-varying variable selection uncertainty, we introduce new dynamic shrinkage priors for the time series of regression coefficients. These priors are characterized by two main ingredients: smooth parameter evolutions and intermittent zeroes for modeling predictive breaks. More formally, our proposed Dynamic Spike-and-Slab (DSS) priors are constructed as mixtures of two processes: a spike process for the irrelevant coefficients and a slab autoregressive process for the active coefficients. The mixing weights are themselves time-varying and depend on lagged values of the series. Our DSS priors are probabilistically coherent in the sense that their stationary distribution is fully known and characterized by spike-and-slab marginals. For posterior sampling over dynamic regression coefficients, model selection indicators as well as unknown dynamic residual variances, we propose a Dynamic SSVS algorithm based on forward-filtering and backward-sampling. To scale our method to large data sets, we develop a Dynamic EMVS algorithm for MAP smoothing. We demonstrate, through simulation and a topical macroeconomic dataset, that DSS priors are very effective at separating active and noisy coefficients. Our fast implementation significantly extends the reach of spike-and-slab methods to large time series data.

연구 동기 및 목표

• 시간에 따라 변화하는 활성 예측자 집합을 가진 시간 시리즈 회귀에서의 동적 변수 선택 문제를 해결한다.
• 계수 흐림이 부드럽고 간헐적으로 변화할 수 있도록 허용함으로써 변수 선택의 시간에 따라 변화하는 불확실성을 모델링한다.
• 정적 분포가 알려져 있고 스파이크-슬랩 주변분포를 갖는 확률적으로 일관된 사전 구조를 개발한다.
• 동적 EMVS를 통해 효율적인 MAP 추정을 통해 대규모 시간 시리즈 데이터셋에 대한 확률적 추론을 가능하게 한다.
• 고차원 시간 시리즈 환경에서 활성 계수와 노이즈 계수 간의 분리 성능을 향상시킨다.

제안 방법

• 비활성 계수를 위한 스파이크 과정과 활성 계수를 위한 슬랩 자기회귀 과정의 혼합으로 구성된 동적 스파이크-슬랩(DSS) 사전분포를 제안한다.
• 혼합 비율을 시간에 따라 변화시키고 계수 시리즈의 이전 값을 기반으로 하여 예측의 변화를 포착한다.
• 스파이크-슬랩 주변분포로 특징지어진 정적 분포가 완전히 알려진 사전분포를 구성함으로써 확률적 일관성을 확보한다.
• 계수, 모델 지표, 잔차 분산에 대한 사후 샘플링을 위해 전진 필터링과 후진 샘플링을 활용한 동적 SSVS 알고리즘을 개발한다.
• 대규모 데이터셋에 대한 확장 가능한 사후 추론을 위해 최대 사후확률(MAP) 스무딩을 위한 동적 EMVS 알고리즘을 도입한다.
• 자기회귀 역학을 통해 활성 계수의 부드러운 변화를 보장하면서도 예측의 변화를 반영하기 위해 비활성 계수를 갑작스럽게 0으로 설정한다.

실험 결과

연구 질문

• RQ1 모르는 잔차 분산을 가진 시간 시리즈 회귀에서 동적 수축 사전분포가 시간에 따라 변화하는 변수 선택을 효과적으로 모델링할 수 있는가?
• RQ2 스파이크-슬랩 사전분포는 부드럽고 간헐적인 계수 변화를 허용하면서도 확률적 일관성을 유지할 수 있도록 어떻게 확장될 수 있는가?
• RQ3 제안된 DSS 사전분포는 고차원 시간 시리즈에서 활성 계수와 노이즈 계수 간의 분리 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 동적 SSVS 알고리즘은 복잡한 의존성 구조를 가진 동적 회귀 모델의 사후 샘플링에서 어떻게 성능을 발휘하는가?
• RQ5 동적 EMVS 알고리즘은 대규모 시간 시리즈 데이터셋에서 확장 가능한 추론을 가능하게 하면서도 정확성을 유지할 수 있는가?

주요 결과

• DSS 사전분포는 시뮬레이션 연구와 실제 거시경제 데이터 모두에서 활성 계수와 노이즈 계수를 효과적으로 분리한다.
• 동적 SSVS 알고리즘은 시간에 따라 변화하는 계수, 모델 지표, 잔차 분산에 대한 정확한 사후 샘플링을 가능하게 한다.
• 동적 EMVS 알고리즘은 뛰어난 계산적 확장성을 확보하여 스파이크-슬랩 방법의 적용 범위를 대규모 시간 시리즈 데이터셋까지 확장한다.
• DSS 사전분포의 정적 분포는 완전히 알려져 있으며 스파이크-슬랩 주변분포로 특징지어져 있어 확률적 일관성을 보장한다.
• 이 방법은 비활성 계수의 간헐적인 0화를 통해 부드러운 계수 변화와 돌연한 예측 변화를 모두 효과적으로 포착한다.
• 실증 결과는 시간에 따라 변화하는 흐림과 알려지지 않은 잔차 분산 조건 하에서 관련 예측자들을 식별하는 데 강력한 성능을 보여준다.