[論文レビュー] Lasso Guarantees for Time Series Estimation Under Subgaussian Tails and $ \beta $-Mixing

Kam Chung Wong, Zifan Li+1 more|arXiv (Cornell University)|Feb 12, 2016

Statistical Methods and Inference参考文献 44被引用数 8

ひとこと要約

本稿は、厳密定常性、サブガウス型尾部、β-混合依存性という最小限の仮定の下で、高次元時系列におけるlassoの非漸近的誤差バインディングを確立する。本稿は、真のデータ生成過程（DGP）が有限次元VARでない場合であっても、lassoが最良の線形予測子を一貫して推定できることを示し、サブガウス型尾部とβ-混合性を有する非ガウス型、非マルコフ型、非線形時系列モデルへlassoの保証を拡張する。その根拠として、β-混合サブガウス型ベクトルに対する新規のハンソン＝ホイットニー不等式を導出する。

ABSTRACT

Many theoretical results on estimation of high dimensional time series require specifying an underlying data generating model (DGM). Instead, along the footsteps of~\cite{wong2017lasso}, this paper relies only on (strict) stationarity and $ \beta $-mixing condition to establish consistency of lasso when data comes from a $\beta$-mixing process with marginals having subgaussian tails. Because of the general assumptions, the data can come from DGMs different than standard time series models such as VAR or ARCH. When the true DGM is not VAR, the lasso estimates correspond to those of the best linear predictors using the past observations. We establish non-asymptotic inequalities for estimation and prediction errors of the lasso estimates. Together with~\cite{wong2017lasso}, we provide lasso guarantees that cover full spectrum of the parameters in specifications of $ \beta $-mixing subgaussian time series. Applications of these results potentially extend to non-Gaussian, non-Markovian and non-linear times series models as the examples we provide demonstrate. In order to prove our results, we derive a novel Hanson-Wright type concentration inequality for $\beta$-mixing subgaussian random vectors that may be of independent interest.

研究の動機と目的

• 特定のデータ生成モデル（DGM）を仮定せずに、高次元時系列におけるlassoの非漸近的誤差バインディングを確立すること。
• i.i.d.およびマルコフ性の仮定を超えて、サブガウス型周辺分布を有する一般の定常的・β-混合過程へlasso理論を拡張すること。
• 真のDGMが有限次元VARでない場合でも、lassoが最良の線形予測子を一貫して推定できることを理論的に保証すること。
• β-混合サブガウス型確率ベクトルに対する新しいハンソン＝ホイットニー型集中不等式を導出し、それによって主結果の証明を可能にすること。
• 非ガウス型、非マルコフ型、非線形時系列モデル（例：誤ったVARやARCH過程）において理論が有効であることを検証すること。

提案手法

• 時系列の自己依存性をモデル化するために、厳密定常性と幾何的減衰を示すβ-混合性を仮定する。
• 尾部の挙動を制御し、集中不等式を可能にするために、周辺分布にサブガウス型尾部を仮定する。
• 二次形式の逸脱を制限するために、β-混合サブガウス型確率ベクトルに対する新規のハンソン＝ホイットニー型集中不等式を導出する。
• β-混合性とサブガウス型性の下で、制限固有値および逸脱条件の高確率バインディングを確立する。
• マスターテーレムを用いて、lasso推定量の推定誤差および予測誤差の非漸近的バインディングを導出する。
• 3つの例（標準的VAR、誤ったVAR、ARCHモデル）にフレームワークを適用し、仮定の妥当性を検証し、誤差バインディングを導出する。

実験結果

リサーチクエスチョン

• RQ1 VAR や ARCH のような特定の DGM を仮定しない場合、lasso は高次元時系列において一貫した推定と予測を提供できるか？
• RQ2 サブガウス型尾部とβ-混合依存性の下で、lasso の非漸近的誤差バインディングは何か？
• RQ3 真の DGM が有限次元VARでない場合、lasso はどのように動作し、何を推定するのか？
• RQ4 β-混合サブガウス型確率ベクトルに対する新しい集中不等式を導出し、lasso の保証に応用できるか？
• RQ5 理論的バインディングは、非ガウス型、非マルコフ型、非線形時系列モデルに対しても成り立つか？

主な発見

• β-混合性とサブガウス型性の下で、lasso推定量はスパarsity s と次元 p を用いて、推定誤差バインディングが O(s log p / n) のオーダーで達成される。
• 同じ条件下で予測誤差バインディングが確立され、真のDGMが有限次元VARでない場合でも一貫性が保証される。
• 本稿は、β-混合サブガウス型ベクトルに対する新規のハンソン＝ホイットニー不等式を導出し、主結果の証明に不可欠な役割を果たす。
• VARモデルの場合、提示された仮定の下で、lassoは真の遷移行列を高確率で推定する。
• 誤ったVARの場合、lassoは過去の観測に基づく最良の線形予測子を推定し、誤差バインディングは依然として成り立つ。
• 一様なノイズを有するARCHモデルでは、仮定が検証され、幾何的β-混合性とサブガウス型性の下でlassoの誤差バインディングが有効であることが示された。