[論文レビュー] Regularized Estimation in High Dimensional Time Series under Mixing Conditions.

Kam Chung Wong, Ambuj Tewari+1 more|arXiv (Cornell University)|Feb 12, 2016

Statistical Methods and Inference参考文献 14被引用数 4

ひとこと要約

本稿は、弱依存性を示す混合条件のもとで、高次元時系列におけるlassoの非漸近的誤差バインディングを確立する。パラメトリック仮定（正規性や有限次元VAR構造など）を必要としない。本稿では、β-混合のサブガウスシャンベクトルに対する新しいハンソン＝ホイットニー不等式を導入し、非正規および非線形時系列モデルに対してもlassoの一貫性を実現する。

ABSTRACT

The Lasso is one of the most popular methods in high dimensional statistical learning. Most existing theoretical results for the Lasso, however, require the samples to be iid. Recent work has provided guarantees for the Lasso assuming that the time series is generated by a sparse Vector Auto-Regressive (VAR) model with Gaussian innovations. Proofs of these results rely critically on the fact that the true data generating mechanism (DGM) is a finite-order Gaussian VAR. This assumption is quite brittle: linear transformations, including selecting a subset of variables, can lead to the violation of this assumption. In order to break free from such assumptions, we derive nonasymptotic inequalities for estimation error and prediction error of the Lasso estimate of the best linear predictor without assuming any special parametric form of the DGM. Instead, we rely only on (strict) stationarity and mixing conditions to establish consistency of the Lasso in the following two scenarios: (a) alpha-mixing Gaussian processes, and (b) beta-mixing sub-Gaussian random vectors. Our work provides an alternative proof of the consistency of the Lasso for sparse Gaussian VAR models. But the applicability of our results extends to non-Gaussian and non-linear times series models as the examples we provide demonstrate. In order to prove our results, we derive a novel Hanson-Wright type concentration inequality for beta-mixing sub-Gaussian random vectors that may be of independent interest.

研究の動機と目的

• 高次元時系列における既存のlasso理論が要請する、有限次元正規VARモデルなどの厳密なパラメトリック仮定を緩和すること。
• 唯一の定常性と混合条件のもとで、lassoの非漸近的推定誤差および予測誤差バインディングを確立すること。
• 真のデータ生成過程（DGM）の特定のパラメトリック形式を仮定せず、弱依存性に依拠することで、lassoの一貫性を非正規および非線形時系列モデルに拡張すること。
• β-混合サブガウスシャンベクトルに対する新しい集中不等式を構築すること。これは、既存の結果の範囲を超える応用が可能である。
• 線形変換やモデル不適合に対してロバストである、高次元時系列におけるlassoの統一的理論的枠組みを提供すること。

提案手法

• （厳密な）定常性およびアルファ-またはベータ-混合条件のみを用いて、lassoの非漸近的リスクバインディングを導出する。
• β-混合サブガウスシャンベクトルに特化した、新しいハンソン＝ホイットニー型集中不等式を導入する。
• この集中不等式を用いて、高次元回帰における経験プロセスおよびデザイン行列の逸脱を制御する。
• 特定のパラメトリック形式の真のDGMを仮定せず、弱依存性のもとで最良線形予測子に対するlassoの一貫性を確立する。
• 真のデータ生成過程が非正規または非線形であっても、lassoが一貫性を保つことを示す。
• チェイングの議論とモーメントバインディングを用いて、混合条件のもとでの経験プロセスの上界を制御する。

実験結果

リサーチクエスチョン

• RQ1 有限次元正規VARモデルを仮定しない場合、lassoは高次元時系列で一貫した推定を達成できるか？
• RQ2 基礎となる時系列が厳密に定常的かつ混合的である場合、lassoの非漸近的誤差バインディングは何か？
• RQ3 β-混合のもとで、従属サブガウスシャンベクトルに対する集中不等式はどのように拡張できるか？
• RQ4 弱依存性のもとで、非正規および非線形時系列モデルに対してもlassoは一貫性を保つか？
• RQ5 パラメトリックモデルを越えて、混合条件のみに依拠してlassoの理論的保証を拡張できるか？

主な発見

• アルファ-混合正規過程のもとで、パラメトリックなDGMを要件とせず、lassoが非漸近的推定誤差および予測誤差バインディングを達成する。
• ベータ-混合サブガウスシャンベクトルのもとで、真のDGMが非正規または非線形であっても、最良線形予測子に対するlassoの一貫性が保証される。
• β-混合サブガウスシャンベクトルに対する新しいハンソン＝ホイットニー型集中不等式が導出され、他の高次元従属データ設定にも応用可能である可能性を示す。
• 理論的枠組みは、スパース正規VARモデルに対する既存の結果を特別な場合として回復し、より弱い仮定のもとで代替的証明を提供する。
• 結果は、データの線形変換に対してもロバストであることが示され、これにより有限次元VAR構造のようなパラメトリック仮定が破綻するのを防ぐ。
• 本手法は、従来のlasso理論がカバーする範囲を超えて、弱依存性のもとで非線形および非正規過程を含むより広いクラスの時系列モデルに適用可能である。