[論文レビュー] Dynamic sparsity on dynamic regression models

Paloma W. Uribe, Hedibert F. Lopes|arXiv (Cornell University)|Sep 29, 2020

Statistical Methods and Inference参考文献 20被引用数 11

ひとこと要約

本稿では、係数の分散にマルコフスイッチング事前分布を適用することで、動的スパarsityを実現する時刻変動係数回帰モデルのための動的スパイクアンドスラブ事前分布を提案する。潜在状態の周辺ギブスサンプリングと条件付きFFBSステップを組み合わせることで、効率的なMCMCサンプリングが達成され、シミュレーションおよびインフレーション予測データの実世界応用において、予測精度と計算速度の両面で既存手法を上回る性能を示した。

ABSTRACT

In the present work, we consider variable selection and shrinkage for the Gaussian dynamic linear regression within a Bayesian framework. In particular, we propose a novel method that allows for time-varying sparsity, based on an extension of spike-and-slab priors for dynamic models. This is done by assigning appropriate Markov switching priors for the time-varying coefficients' variances, extending the previous work of Ishwaran and Rao (2005). Furthermore, we investigate different priors, including the common Inverted gamma prior for the process variances, and other mixture prior distributions such as Gamma priors for both the spike and the slab, which leads to a mixture of Normal-Gammas priors (Griffin ad Brown, 2010) for the coefficients. In this sense, our prior can be view as a dynamic variable selection prior which induces either smoothness (through the slab) or shrinkage towards zero (through the spike) at each time point. The MCMC method used for posterior computation uses Markov latent variables that can assume binary regimes at each time point to generate the coefficients' variances. In that way, our model is a dynamic mixture model, thus, we could use the algorithm of Gerlach et al (2000) to generate the latent processes without conditioning on the states. Finally, our approach is exemplified through simulated examples and a real data application.

研究の動機と目的

• 高次元の動的回帰モデルにおける時刻変動変数選択の課題に取り組む。
• 予測子の関連性が時間とともに変化するのを捉えることができない静的スパarsity手法の限界を克服する。
• 時刻変動係数における滑らかさ（スラブ）と縮小（スパイク）を両立させるスケーラブルなベイズフレームワークを構築する。
• ハイブリッドギブス-FFBSアルゴリズムを用いて潜在状態と係数を同時にサンプリングすることで、MCMCの効率を向上させる。
• 31個の予測子を用いた実世界のインフレーション予測において、本手法の有効性を実証する。

提案手法

• 時刻変動係数の分散にマルコフスイッチング事前分布を適用することで、スパイクアンドスラブ事前分布の動的拡張を提案する。
• 係数の分散を状態依存とする。各時刻で、包含（スラブ）または除外（スパイク）を示す2値の潜在変数を用いる。
• 係数に正規-ガンマ混合事前分布を適用し、時間にわたる柔軟な縮小と滑らかさを実現する。
• 潜在状態のための周辺ギブスサンプリングと係数のための条件付きFFBSを組み合わせた連携MCMCサンプリングスキームを実装する。
• Gerlachら（2000）のアルゴリズムを活用し、状態のレジームに条件付けずに潜在状態をサンプリングすることで、混合性能を向上させる。
• コレスキー分解を用いて効率的な計算を実現する、時刻変動パラメータを有する動的線形モデルに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 スパイクアンドスラブ事前分布は、どのように動的回帰モデルにおける時刻変動スパarsityをサポートするように拡張できるか？
• RQ2 係数分散にマルコフスイッチング事前分布を適用することで、時刻変動変数選択にどのような影響を与えるか？
• RQ3 本手法が提案するMCMCスキームは、動的システムにおける完全条件付きサンプリングに比べて、効率性と混合性能で優れているか？
• RQ4 本手法は、高次元かつ時刻変動する設定において、既存手法を上回る予測精度を達成できるか？
• RQ5 31個の予測子を用いた実世界のインフレーション予測において、動的スパarsityモデルはどのように性能を発揮するか？

主な発見

• シミュレーション例では、動的NMIG事前分布が平均RMSE 0.2472、中央値RMSE 0.2863を達成し、ラプラスおよびNG事前分布を上回った。
• インフレーション予測への応用において、本手法はNGARモデルと同等の結果を生み出し、NMIGの平均がNGARの赤線をよく追跡した。
• NMIG事前分布からの95％信用区間は狭く、良好にキャリブレーションされており、信頼性の高い不確実性評価を示した。
• 潜在状態と係数の同時サンプリングにより、計算効率が向上し、遅い完全条件付き更新を回避できた。
• 遷移確率にベータ事前分布を用い、経験ベイズによるハイパーパrameterチューニングを実施することで、モデルの安定性と収束性が向上した。
• モデルは予測子の時刻変動する関連性を適切に捉え、動的スパarsityが経済状況の変化を反映した。