[논문 리뷰] Regularized Estimation in High Dimensional Time Series under Mixing Conditions.

Kam Chung Wong, Ambuj Tewari외 1명|arXiv (Cornell University)|2016. 02. 12.

Statistical Methods and Inference참고 문헌 14인용 수 4

한 줄 요약

이 논문은 혼합 조건을 통해 고차원 시계열에서 Lasso의 비점근적 오차 경계를 수립하며, 정규성이나 유한 차수 VAR 구조와 같은 파rametric 가정이 필요 없도록 한다. 비정규성 및 비선형 시계열 모형에 대해 일관성을 확보하기 위해, 베타-혼합(sub-Gaussian) 벡터에 대한 새로운 하이즈먼-하우잇 부등식을 제안한다.

ABSTRACT

The Lasso is one of the most popular methods in high dimensional statistical learning. Most existing theoretical results for the Lasso, however, require the samples to be iid. Recent work has provided guarantees for the Lasso assuming that the time series is generated by a sparse Vector Auto-Regressive (VAR) model with Gaussian innovations. Proofs of these results rely critically on the fact that the true data generating mechanism (DGM) is a finite-order Gaussian VAR. This assumption is quite brittle: linear transformations, including selecting a subset of variables, can lead to the violation of this assumption. In order to break free from such assumptions, we derive nonasymptotic inequalities for estimation error and prediction error of the Lasso estimate of the best linear predictor without assuming any special parametric form of the DGM. Instead, we rely only on (strict) stationarity and mixing conditions to establish consistency of the Lasso in the following two scenarios: (a) alpha-mixing Gaussian processes, and (b) beta-mixing sub-Gaussian random vectors. Our work provides an alternative proof of the consistency of the Lasso for sparse Gaussian VAR models. But the applicability of our results extends to non-Gaussian and non-linear times series models as the examples we provide demonstrate. In order to prove our results, we derive a novel Hanson-Wright type concentration inequality for beta-mixing sub-Gaussian random vectors that may be of independent interest.

연구 동기 및 목표

• 기존 Lasso 이론에서 요구하는 엄격한 파arametric 가정(예: 유한 차수 정규 VAR 모형)을 완화하기 위해.
• 오직 정 stationarity 및 혼합 조건만을 가정할 때 Lasso의 비점근적 추정 및 예측 오차 경계를 수립하기 위해.
• 진짜 DGM의 특정 파arametric 형태를 가정하지 않고, 약한 의존성에 기반해 Lasso 일관성을 비정규성 및 비선형 시계열 모형으로 확장하기 위해.
• 베타-혼합 sub-Gaussian 랜덤 벡터에 대한 새로운 농도 부등식을 개발하기 위해.
• 선형 변환 및 모형 불일치에 강건한, 고차원 시계열에서 Lasso에 대한 통합 이론적 프레임워크를 제공하기 위해.

제안 방법

• 엄격한 정 stationarity 및 알파- 또는 베타-혼합 조건만을 사용하여 Lasso의 비점근적 리스크 경계를 유도한다.
• 베타-혼합 sub-Gaussian 랜덤 벡터에 특화된 새로운 하이즈먼-하우잇 유형의 농도 부등식을 제안한다.
• 이 농도 부등식을 활용해 고차원 회귀에서의 경험 과정 및 설계 행렬의 편차를 제어한다.
• 특정 파arametric 형태의 진짜 DGM을 가정하지 않고도, 약한 의존성 하에서 최적의 선형 예측자에 대한 Lasso 일관성을 확립한다.
• 진짜 데이터 생성 메커니즘이 비정규성 또는 비선형일 경우에도 Lasso가 여전히 일관성을 유지함을 보여준다.
• 체이닝 추론과 모멘트 경계를 사용하여 혼합 조건 하에서 경험 과정의 최대값을 제어한다.

실험 결과

연구 질문

• RQ1 Lasso는 유한 차수 정규 VAR 모형을 가정하지 않고도 고차원 시계열에서 일관적인 추정을 달성할 수 있는가?
• RQ2 기저 시계열이 엄격한 정 stationarity 및 혼합 조건을 만족할 때 Lasso의 비점근적 오차 경계는 무엇인가?
• RQ3 베타-혼합 조건 하에서 종속적인 sub-Gaussian 랜덤 벡터에 대해 농도 부등식을 어떻게 확장할 수 있는가?
• RQ4 약한 의존성 하에서 Lasso는 비정규성 및 비선형 시계열 모형에 대해 여전히 일관성을 유지하는가?
• RQ5 혼합 조건만을 사용하여 기존의 파arametric 모델을 초월해 Lasso의 이론적 보장을 확장할 수 있는가?

주요 결과

• 알파-혼합 정규 과정에서 파arametric DGM이 필요 없이 Lasso가 비점근적 추정 및 예측 오차 경계를 달성한다.
• 베타-혼합 sub-Gaussian 랜덤 벡터에서 진짜 DGM이 비정규성 또는 비선형일지라도 최적의 선형 예측자에 대해 Lasso가 일관성을 유지한다.
• 베타-혼합 sub-Gaussian 벡터에 대한 새로운 하이즈먼-하우잇 유형의 농도 부등식이 유도되었으며, 이는 향후 고차원 종속 데이터 설정에서 유용할 수 있다.
• 이론적 프레임워크는 흩어진 정규 VAR 모형에 대한 기존 결과를 특수한 경우로 복원하며, 더 약한 가정으로 인해 다른 증명을 제공한다.
• 결과는 데이터의 선형 변환에 대해 강건함을 보여주며, 이는 기존의 유한 차수 VAR 구조와 같은 파arametric 가정을 무너뜨릴 수 있다.
• 이전 Lasso 이론보다 더 넓은 범주에 속하는 시계열 모형(비선형 및 비정규 과정 포함)에 대해 약한 의존성 하에서 이 방법이 적용 가능하다.