[論文レビュー] Sparse Vector Autoregressive Modeling

Richard A. Davis, Pengfei Zang+1 more|arXiv (Cornell University)|Jul 2, 2012

Statistical Methods and Inference参考文献 23被引用数 22

ひとこと要約

本稿では、高次元VARモデルの限界を克服するため、2段階のスパースベクトル自己回帰（sVAR）モデリング手法を提案する。最初の段階で部分的スペクトル相互相関（PSC）を用いて係数の初期選択を行い、2番目の段階でBICおよびt統計量を用いて精錬を行う。この手法により過学習が軽減され、推定精度が向上し、シミュレーションおよび実データ（Google Flu Trends、大気汚染）においてLassoベースの手法を上回る。パラメータ推定においてバイアス、分散、MSEが低く抑えられ、誤った係数が少ないため、モデルの解釈性も向上する。

ABSTRACT

The vector autoregressive (VAR) model has been widely used for modeling temporal dependence in a multivariate time series. For large (and even moderate) dimensions, the number of AR coefficients can be prohibitively large, resulting in noisy estimates, unstable predictions and difficult-to-interpret temporal dependence. To overcome such drawbacks, we propose a 2-stage approach for fitting sparse VAR (sVAR) models in which many of the AR coefficients are zero. The first stage selects non-zero AR coefficients based on an estimate of the partial spectral coherence (PSC) together with the use of BIC. The PSC is useful for quantifying the conditional relationship between marginal series in a multivariate process. A refinement second stage is then applied to further reduce the number of parameters. The performance of this 2-stage approach is illustrated with simulation results. The 2-stage approach is also applied to two real data examples: the first is the Google Flu Trends data and the second is a time series of concentration levels of air pollutants.

研究の動機と目的

• 高次元時系列における従来のVARモデルの次元の高さと不安定性に対処すること。
• 自己回帰係数のスパarsityを強制することで、ノイズの多いパラメータ推定を低減し、予測精度を向上させること。
• 過学習を回避し、時系列の依存構造の解釈性を高めるモデル選択手法の開発。
• LassoベースのVAR手法の限界（自己回帰次数の過剰選択、誤った係数の選択）を克服すること。
• 多変量時系列における条件付きで依存する系列ペアを特定するための周波数領域的手法として、部分的スペクトル相互相関（PSC）の利用。

提案手法

• 最初の段階では、非パラメトリックなPSC推定値を用いて、周辺的に相関しているが条件付きで相関する系列ペア（つまり、非ゼロ自己回帰係数の可能性があるペア）を同定する。
• 最初の段階モデルにおける非対角自己回帰係数ペアの非ゼロ数の最適な数を特定するため、ベイジアン情報基準（BIC）を組み込む。
• 2番目の段階では、係数推定値のt統計量とBICを用いて、最初の段階で選択された誤った非ゼロ係数を除去する。
• Lasso-VARで用いられる回帰再定式化を避けるために、VARモデルを時系列の多次元モデルとして扱い、時間的依存性を直接モデル化する。
• 2段階のスクリーニングプロセスを採用：PSCに基づく初期スクリーニングに続き、統計的有意性の検定とBICに基づくモデル精錬を行う。
• 非ガウス過程に対しても準尤度を用いることで、コア推定フレームワークを維持しつつ、ロバスト性を確保する。

実験結果

リサーチクエスチョン

• RQ1 部分的スペクトル相互相関（PSC）は、多変量時系列におけるスパースVARモデル選択のため、条件付きで依存する系列ペアを効果的に同定できるか？
• RQ2 2段階アプローチは、LassoベースのVAR手法と比較して過学習を低減し、推定精度を向上させることができるか？
• RQ3 高次元VARモデルにおいて、2段階手法のバイアス、分散、平均二乗誤差（MSE）の性能はどのように評価できるか？
• RQ4 シミュレーションおよび実データにおいて、真の非ゼロ自己回帰係数をよりよく同定し、誤った選択を最小限に抑えることができるか？
• RQ5 2段階手法は、非ゼロ係数の数を減らすことで、どの程度モデルの解釈性を向上させることができるか？

主な発見

• 2段階手法は、Lasso-LLおよびLasso-SS手法と比較して顕著に低い平均二乗誤差（MSE）を達成し、δ²=1の条件下でMSEはそれぞれ0.113、0.159、0.146であった。
• δ²=100のとき、2段階手法のMSEは0.178であったのに対し、Lasso-LLとLasso-SSは0.825および2.700であった。推定精度の大幅な向上が確認された。
• 最初の段階では、シミュレーションで真の非ゼロ自己回帰係数を高い確率で同定できた。これは、真の行列と推定行列の間で強い色の一致が観察されたことから裏付けられている。
• 2番目の段階では、誤った係数（白丸で示される）が著しく減少し、最終モデルでは最初の段階と比較してその存在が消失した。
• Lassoベースの手法は、モデル選択において高い変動性を示し、真にゼロである係数を約50％の確率で選択していた。その結果、不安定で解釈が難しいモデルが得られた。
• 2段階手法は、δ²=100のとき平均でm=6.19の非ゼロ係数を選択したが、Lasso手法はm≈11–17であった。これは、より良いスパarsityとモデルの簡潔さを示している。