[論文レビュー] Estimating Structured Vector Autoregressive Model

Igor Melnyk, Arindam Banerjee|arXiv (Cornell University)|Feb 21, 2016

Statistical Methods and Inference参考文献 36被引用数 24

ひとこと要約

本稿は、従属する時系列データを想定した構造的ベクトル自己回帰（VAR）モデルに対する非漸近的推定フレームワークを提案する。一般化チェイニングと劣指数マルティングルの不等式を用いて、任意のノルム（例：Lasso、グループLasso）における誤差バウンドを確立する。驚くべきことに、時系列的および変数間の依存性が強い状況下でも、推定誤差率は独立標本Lasso推定器と同一である。

ABSTRACT

While considerable advances have been made in estimating high-dimensional structured models from independent data using Lasso-type models, limited progress has been made for settings when the samples are dependent. We consider estimating structured VAR (vector auto-regressive models), where the structure can be captured by any suitable norm, e.g., Lasso, group Lasso, order weighted Lasso, sparse group Lasso, etc. In VAR setting with correlated noise, although there is strong dependence over time and covariates, we establish bounds on the non-asymptotic estimation error of structured VAR parameters. Surprisingly, the estimation error is of the same order as that of the corresponding Lasso-type estimator with independent samples, and the analysis holds for any norm. Our analysis relies on results in generic chaining, sub-exponential martingales, and spectral representation of VAR models. Experimental results on synthetic data with a variety of structures as well as real aviation data are presented, validating theoretical results.

研究の動機と目的

• 独立標本の仮定が成り立たない高次元構造的VARモデルにおける理論的保証のギャップを埋める。
• 任意のノルム（例：L1、グループLasso、OWL）を用いたLasso型正則化をVARモデルに拡張し、多次元時系列における多様な構造的事前知識を捉える。
• 強い時系列的および変数間依存性が存在する中でも、構造的VARパラメータの非漸近的推定誤差バウンドを確立する。
• 最小限のノイズおよびモデル安定性の仮定の下で、従属観測が存在する高次元設定における正則化VAR推定の理論的裏付けを提供する。

提案手法

• パラメータ行列 A_k に任意のノルム R(·) を導入した正則化最適化問題として構造的VAR推定を定式化し、スパース、グループスパース、または複雑な構造的解を可能にする。
• 時系列依存性下での経験プロセスの上界を分析するため、一般化チェイニングと劣指数マルティングル集中不等式を適用する。
• VARプロセスの固有値分解を用いて共分散構造を特徴付け、制限固有値条件のバウンドを導出する。
• 共分散行列 C_X のトレースおよびスペクトルノルムのバウンドを用いて、方向の錐内での XΔ の期待ノルムの下界を確立する。
• [31] および [4] の結果を用いて、集合 Θ 上での ||Xu||_2 の下界の高確率集中不等式を導出する。
• 標本サイズ N ≥ O(w(Θ)^2 / L) の下で、制限固有値条件が高確率で成立することを証明する。ここで w(Θ) は方向の集合のガウス幅、L は共分散行列の最小固有値の下界である。

実験結果

リサーチクエスチョン

• RQ1 時系列に依存性がある場合に、構造的VARモデルの非漸近的推定誤差バウンドを確立できるか？
• RQ2 任意のノルムを用いた構造的VARモデルの推定誤差率は、独立標本Lasso推定器と一致するか？
• RQ3 時系列依存性下で、構造的VARパラメータの一貫した回復を保証するための標本サイズおよびモデルパラメータの条件は何か？
• RQ4 一般化チェイニングとマルティングル集中を、多次元時系列における依存構造に対応させるにはどのように適合させられるか？
• RQ5 ノルムの選択（例：L1、グループLasso、OWL）が、従属データを伴う高次元VARモデルにおける推定誤差に与える影響はどの程度か？

主な発見

• 強い時系列的および変数間依存性が存在する中でも、構造的VARモデルの非漸近的推定誤差は、独立標本Lasso推定器と同程度のオーダーである。
• 標本サイズ N ≥ O(w(Θ)^2 / L) の下で、制限固有値条件は高確率で成立する。ここで w(Θ) は方向の集合のガウス幅、L は共分散行列の最小固有値の下界である。
• 本分析は任意のノルム R(·) に適用可能であり、L1、グループLasso、順序付き重み付きL1、重複するグループスパarsityなども含む。これにより、多様な構造的事前知識の柔軟なモデリングが可能になる。
• 誤差バウンドはVARプロセスのスペクトル的性質およびパrameter空間の幾何学的性質に依存し、Λ_min(Σ)、Λ_max(Σ)、および自己回帰作用素のスペクトルノルムに明示的な依存関係を示す。
• 理論的保証は、さまざまな構造を有する合成データおよび実世界の航空データ上で検証され、予測と強い一致を示した。
• 導出されたバウンドは非漸近的であり、最小限の仮定（ stationarity, finite second moments, bounded eigenvalues of the noise covariance matrix Σ ）の下で成立する。