[論文レビュー] BigVAR: Tools for Modeling Sparse High-Dimensional Multivariate Time Series

William B. Nicholson, David S. Matteson+1 more|arXiv (Cornell University)|Feb 23, 2017

Forecasting Techniques and Applications参考文献 16被引用数 22

ひとこと要約

この論文は、正則化VARモデルを用いてスパースで高次元の多次元時系列を推定するための計算フレームワークであるBigVARを紹介する。2段階の「リラックスドベースVAR-L」推定手順を提案し、グループlassoによる係数選択後に一般化最小二乗法（GLS）を適用することで、非効率な最小二乗法の再適合を回避し、効率性を向上させる。この手法により、コレスキー分解とMA表現を通じて正確なインパルス応答分析が可能となり、高次元VARにおけるスケーラブルな推論と構造的同定化の面で主な貢献を果たす。

ABSTRACT

The R package BigVAR allows for the simultaneous estimation of high-dimensional time series by applying structured penalties to the conventional vector autoregression (VAR) and vector autoregression with exogenous variables (VARX) frameworks. Our methods can be utilized in many forecasting applications that make use of time-dependent data such as macroeconomics, finance, and internet traffic. Our package extends solution algorithms from the machine learning and signal processing literatures to a time dependent setting: selecting the regularization parameter by sequential cross validation and provides substantial improvements in forecasting performance over conventional methods. We offer a user-friendly interface that utilizes R's s4 object class structure which makes our methodology easily accessible to practicioners. In this paper, we present an overview of our notation, the models that comprise BigVAR, and the functionality of our package with a detailed example using publicly available macroeconomic data. In addition, we present a simulation study comparing the performance of several procedures that refit the support selected by a BigVAR procedure according to several variants of least squares and conclude that refitting generally degrades forecast performance.

研究の動機と目的

• 高次元VARモデルにおける変数選択後の標準的最小二乗法の再適合の非効率性を解消すること。
• 線形制約を一般化最小二乗法で組み込むことで、スパースで高次元のVARにおける推定効率を向上させること。
• コレスキー分解による適切な同定化を通じて、高次元VARにおける信頼性のあるインパルス応答分析を可能にすること。
• 大規模多次元時系列におけるラグ順序選択および係数推定のための計算的に効率的なフレームワークを開発すること。
• 制約付き推定の理論的裏付けを有する、構造的正則化（例：グループlasso）のスケーラブルな実装を提供すること。

提案手法

• 2段階推定手順を用いる：まず、VAR(p)モデルにおける非ゼロ係数の選択にグループlassoを適用し、スパース係数行列 $\hat{\Phi}$ を得る。
• 選択された係数を線形制約として表現：$\text{vec}(\hat{\Phi}) = R\hat{\phi}$、ここで $R$ はランク $r$ の選択行列である。
• 制約付きモデルに一般化最小二乗法（GLS）を適用し、非効率なOLS再適合を回避することで漸近的効率性を向上させる。
• 取り扱いやすい表現を得るため、VAR(p)をVAR(1)形式に変換：$Y_t = \nu + A Y_{t-1} + U_t$、定常性を仮定する。
• 選択行列 $J$ を前乗算することで、移動平均（MA）表現 $Y_t = \mu + \sum_{i=0}^\infty \Gamma_i U_{t-i}$ を導出する。これによりインパルス応答の計算が可能になる。
• 構造的ショックの同定化のため、コレスキー分解 $\Sigma_u = CC^\top$ を実行し、$w_t = C^{-1}U_t$ によりショックを変換して $\Theta_i = \Gamma_i C$ を得る。これによりインパルス応答関数が得られる。

実験結果

リサーチクエスチョン

• RQ1 グループlassoによる選択後にGLS再適合を適用する2段階推定手順は、標準的OLS再適合と比較して、高次元VARモデルにおける推定効率を向上させるか？
• RQ2 非対角行列の誤差共分散を有する高次元でスパースなVARモデルにおいて、インパルス応答関数を信頼性を持って計算する方法は何か？
• RQ3 VAR係数に線形制約を課した場合、制約付き推定（例：GLS）が漸近的効率性を向上させる役割は何か？
• RQ4 統計的効率性と解釈可能性を保ちながら、高次元VAR推定の計算負荷をどのように軽減できるか？
• RQ5 コレスキー分解による適切な同定化が、スパースVARにおけるインパルス応答関数の妥当性と解釈可能性に与える影響は何か？

主な発見

• 提案された「リラックスドベースVAR-L」手順は、グループlassoによる選択後にOLS再適合をGLSに置き換えることで、パrameter制約下での理論的優位性を活かし、推定効率を向上させる。
• 係数推定において明示的な行列逆行列計算を回避し、三角行列ソルバーを用いることで、計算スケーラビリティを向上させる。
• MA表現とコレスキー分解を用いることで、相関のある誤差を有する状況でも信頼性のあるインパルス応答関数が計算可能となり、構造的同定化が保証される。
• アルゴリズムLABEL:algICに記載された実装を通じて、ラグ順序選択が効率的に行えるため、高次元設定における実用的応用が可能になる。
• 2段階目で一般化最小二乗法を用いることで、一部の係数がゼロに制約された状況においても漸近的効率性が保証され、有限標本でも標準的OLSを上回る性能を示す。