[論文レビュー] Sparse Autoregressive Processes for Dynamic Variable Selection

Veronika Ročková|arXiv (Cornell University)|Jul 31, 2017

Statistical Methods and Inference被引用数 1

ひとこと要約

本稿では、時系列回帰における動的変数選択を可能にするため、滑らかで自己回帰的な有効係数と断続的なゼロ係数を用いて、時間に応じて変化する係数スパarsityをモデル化する、動的スパイスラブ（DSS）事前分布を提案する。この手法は、事後分布推論に前方フィルタリングと後方サンプリングを用い、スケーラビリティを確保するための動的EMVSアルゴリズムを導入しており、大規模な時系列データセットにおける有効係数とノイズ係数の分離を顕著に改善する。

ABSTRACT

We address the problem of dynamic variable selection in time series regression with unknown residual variances, where the set of active predictors is allowed to evolve over time. To capture time-varying variable selection uncertainty, we introduce new dynamic shrinkage priors for the time series of regression coefficients. These priors are characterized by two main ingredients: smooth parameter evolutions and intermittent zeroes for modeling predictive breaks. More formally, our proposed Dynamic Spike-and-Slab (DSS) priors are constructed as mixtures of two processes: a spike process for the irrelevant coefficients and a slab autoregressive process for the active coefficients. The mixing weights are themselves time-varying and depend on lagged values of the series. Our DSS priors are probabilistically coherent in the sense that their stationary distribution is fully known and characterized by spike-and-slab marginals. For posterior sampling over dynamic regression coefficients, model selection indicators as well as unknown dynamic residual variances, we propose a Dynamic SSVS algorithm based on forward-filtering and backward-sampling. To scale our method to large data sets, we develop a Dynamic EMVS algorithm for MAP smoothing. We demonstrate, through simulation and a topical macroeconomic dataset, that DSS priors are very effective at separating active and noisy coefficients. Our fast implementation significantly extends the reach of spike-and-slab methods to large time series data.

研究の動機と目的

• 時間の経過に伴い変化する有効予測子の集合を扱う、時系列回帰における動的変数選択を解決すること。
• 係数スパarsityが滑らかで断続的に入れ替わるのを許容することで、変数選択における時間的変動する不確実性をモデル化すること。
• 既知の定常分布とスパイスラブ周辺分布を持つ、確率論的に整合性のある事前分布構造を構築すること。
• 動的EMVSによる効率的なMAP推定を通じて、大規模な時系列データセットに対するスケーラブルな事後分布推論を可能にすること。
• 高次元の時系列設定下での有効係数とノイズ係数の分離を向上させること。

提案手法

• スパイスプロセス（不適切な係数用）とスラブ自己回帰プロセス（有効係数用）の混合として、動的スパイスラブ（DSS）事前分布を提案する。
• 混合重みを時間的に変化させ、係数系列の遅れ値に依存させることで、予測的ブレイクを捉える。
• 定常分布が完全に既知で、スパイスラブ周辺分布によって特徴付けられるように事前分布を構築することで、確率論的整合性を確保する。
• 前方フィルタリングと後方サンプリングを用いた動的SSVSアルゴリズムを開発し、係数、モデル指標、誤差分散の事後分布サンプリングを実現する。
• 大規模データセットへのスケーラビリティを実現するため、最大事後確率（MAP）スムージングを目的とした動的EMVSアルゴリズムを導入する。
• 自己回帰的ダイナミクスを用いることで、有効係数の滑らかな変化を保証するとともに、予測的ブレイクに伴い不活性係数を即座にゼロ化することを可能にする。

実験結果

リサーチクエスチョン

• RQ1 未知の誤差分散を伴う時系列回帰において、動的シャーピング事前分布は、時間に応じて変化する変数選択を効果的にモデル化できるか？
• RQ2 スパイスラブ事前分布を、滑らかで断続的な係数の進化を許容しつつ、確率論的に整合性を保つように拡張できるか？
• RQ3 提案されたDSS事前分布は、高次元時系列設定において、有効係数とノイズ係数の分離をどの程度向上できるか？
• RQ4 動的SSVSアルゴリズムは、複雑な依存構造を持つ動的回帰モデルの事後分布サンプリングにおいて、どの程度の性能を示すか？
• RQ5 動的EMVSアルゴリズムは、大規模な時系列データセットにおけるスケーラブルな推論を維持しつつ、精度を保てるか？

主な発見

• DSS事前分布は、シミュレーションスタディおよび実際のマクロ経済データの両方で、有効係数とノイズ係数の分離を効果的に実現した。
• 動的SSVSアルゴリズムにより、時間に応じて変化する係数、モデル指標、誤差分散の正確な事後分布サンプリングが可能になった。
• 動的EMVSアルゴリズムは顕著な計算スケーラビリティを達成し、スパイスラブ手法の適用範囲を大規模な時系列データセットにまで拡大した。
• DSS事前分布の定常分布は完全に既知であり、スパイスラブ周辺分布によって特徴付けられており、確率論的整合性を保証する。
• 不活性係数の断続的なゼロ化を通じて、滑らかな係数の変化と、突然の予測的ブレイクの両方を効果的に捉えた。
• 実証的結果は、時間に応じて変化するスパarsityと未知の誤差分散下でも、関連予測子の特定において優れた性能を示した。