[論文レビュー] A Direct Estimation of High Dimensional Stationary Vector Autoregressions

Fang Han, Huanran Lu+1 more|arXiv (Cornell University)|Jul 1, 2013

Statistical and numerical algorithms参考文献 43被引用数 93

ひとこと要約

本稿は、時系列依存構造を活用して並列計算を効率的に行えるようにする線形計画法としての定式化により、高次元ステーショナリィベクトル自己回帰（VAR）モデルに対する新しい直接推定手法を提案する。主な貢献は、推定精度を遷移行列の特異値ノルムに関連付ける理論的一貫性バインディングであり、実験的検証ではlasso型推定器よりもパrameter推定および予測において優れた性能を示した。

ABSTRACT

The vector autoregressive (VAR) model is a powerful tool in modeling complex time series and has been exploited in many fields. However, fitting high dimensional VAR model poses some unique challenges: On one hand, the dimensionality, caused by modeling a large number of time series and higher order autoregressive processes, is usually much higher than the time series length; On the other hand, the temporal dependence structure in the VAR model gives rise to extra theoretical challenges. In high dimensions, one popular approach is to assume the transition matrix is sparse and fit the VAR model using the "least squares" method with a lasso-type penalty. In this manuscript, we propose an alternative way in estimating the VAR model. The main idea is, via exploiting the temporal dependence structure, to formulate the estimating problem into a linear program. There is instant advantage for the proposed approach over the lasso-type estimators: The estimation equation can be decomposed into multiple sub-equations and accordingly can be efficiently solved in a parallel fashion. In addition, our method brings new theoretical insights into the VAR model analysis. So far the theoretical results developed in high dimensions (e.g., Song and Bickel (2011) and Kock and Callot (2012)) mainly pose assumptions on the design matrix of the formulated regression problems. Such conditions are indirect about the transition matrices and not transparent. In contrast, our results show that the operator norm of the transition matrices plays an important role in estimation accuracy. We provide explicit rates of convergence for both estimation and prediction. In addition, we provide thorough experiments on both synthetic and real-world equity data to show that there are empirical advantages of our method over the lasso-type estimators in both parameter estimation and forecasting.

研究の動機と目的

• 次元数dとラグ次数pの積がサンプルサイズTを上回る高次元VARモデルの課題に対処すること。
• 時系列依存構造を活用して並列計算が可能な計算効率の良い推定手法を開発すること。
• 推定の一貫性に関する新たな理論的知見を確立し、精度を遷移行列の特異値ノルムに関連付けること。
• 従来のlasso型正則化手法と比較して、高次元設定下でのパrameter推定および予測精度を向上させること。

提案手法

• データの時系列依存構造を活用して、VAR推定問題を線形計画問題として定式化する。
• 並列計算が可能な部分問題に分解できる直接最適化フレームワークを用いる。
• スパarsityと一貫性を促進するため、max-normペナルティを用いた制約付き最適化問題を採用する。
• ガウス確率ベクトルおよび行列ノルムに対する集中不等式を用いて理論的バインディングを導出する。
• 次元数dとサンプルサイズTが両方とも増加する二重漸近枠組み（d/T → 0）を導入する。
• 再パラメータライゼーションとノルム制御を用いて、線形計画問題とスパース推定問題の等価性を確立する。

実験結果

リサーチクエスチョン

• RQ1 直接的な線形計画法アプローチは、高次元ステーショナリィVARモデルにおいて一貫性のある推定を達成できるか？
• RQ2 遷移行列の特異値ノルムが高次元設定下での推定精度にどのように影響するか？
• RQ3 提案手法は、高次元設定下でlasso型推定器よりもパrameter推定および予測の両面で優れた性能を示すか？
• RQ4 提案推定量が推定および予測の一貫性を達成するための理論的条件は何か？
• RQ5 その分解可能構造のおかげで、効率的な並列計算が可能か？

主な発見

• dとTが両方とも増加し、d/T → 0 となる二重漸近枠組み下で、提案手法は推定の一貫性を達成する。
• 遷移行列A1の特異値ノルム‖A1‖2が推定精度の主要な決定要因であり、一貫性バインディングは‖A1‖2に依存する。
• 高確率で、∥bA1 − A1∥1 ≤ 4s(2λ0‖Σ−1‖1)1−q が成り立つ。ここでsはℓqノルムスパarsityレベルを表す。
• 合成データおよび株式市場データを用いた実験的結果から、lasso型推定器よりも優れたパrameter推定および予測精度が得られた。
• 線形計画問題の分解可能構造のおかげで、効率的な並列計算が可能である。
• ガウス確率ベクトルおよび行列ノルムに対する集中不等式を用いて理論的バインディングを導出し、標本共分散行列および精度行列推定誤差の高確率的制御を実現した。