[논문 리뷰] Lasso Guarantees for Time Series Estimation Under Subgaussian Tails and $ \beta $-Mixing

Kam Chung Wong, Zifan Li외 1명|arXiv (Cornell University)|2016. 02. 12.

Statistical Methods and Inference참고 문헌 44인용 수 8

한 줄 요약

이 논문은 엄밀한 가정 조건 하에 고차원 시계열에서 라소의 비점근적 오차 경계를 수립한다: 엄밀한(stationary), 서브가우시안 꼬리, β-혼합 종속성. 이는 진정한 데이터 생성 과정이 유한 차수 VAR가 아닐 경우에도 라소가 최적의 선형 예측자에 대해 일致하게 추정할 수 있음을 증명하며, 새로운 하이즈너-하우잇 부등식을 통해 비정규, 비마르코프, 비선형 시계열 모델로 라소의 보장을 확장한다. 이는 β-혼합 서브가우시안 벡터에 대한 새로운 하이즈너-하우잇 부등식을 통해 달성된다.

ABSTRACT

Many theoretical results on estimation of high dimensional time series require specifying an underlying data generating model (DGM). Instead, along the footsteps of~\cite{wong2017lasso}, this paper relies only on (strict) stationarity and $ \beta $-mixing condition to establish consistency of lasso when data comes from a $\beta$-mixing process with marginals having subgaussian tails. Because of the general assumptions, the data can come from DGMs different than standard time series models such as VAR or ARCH. When the true DGM is not VAR, the lasso estimates correspond to those of the best linear predictors using the past observations. We establish non-asymptotic inequalities for estimation and prediction errors of the lasso estimates. Together with~\cite{wong2017lasso}, we provide lasso guarantees that cover full spectrum of the parameters in specifications of $ \beta $-mixing subgaussian time series. Applications of these results potentially extend to non-Gaussian, non-Markovian and non-linear times series models as the examples we provide demonstrate. In order to prove our results, we derive a novel Hanson-Wright type concentration inequality for $\beta$-mixing subgaussian random vectors that may be of independent interest.

연구 동기 및 목표

• 특정 데이터 생성 모델(DGM)을 가정하지 않고 고차원 시계열에서 라소의 비점근적 오차 경계를 수립하는 것.
• 독립적 동일분포 및 마르코프 성질을 초월하여 서브가우시안 모수를 갖는 일반적인 정상적, β-혼합 과정에 대해 라소 이론을 확장하는 것.
• 진짜 DGM이 유한 차수 VAR가 아닐 경우에도 라소가 최적의 선형 예측자에 대해 일치성을 확보할 수 있도록 이론적 보장을 제공하는 것.
• β-혼합 서브가우시안 랜덤 벡터에 대한 새로운 하이즈너-하우잇 유형의 농도 부등식을 유도하는 것. 이는 별도의 관심사로도 중요하다.
• 비정규, 비마르코프, 비선형 시계열 모델(예: 잘못 지정된 VAR 및 ARCH 과정)에 이론을 검증하는 것.

제안 방법

• 시간적 종속성을 모델링하기 위해 엄밀한 정상성과 기하급수적으로 감쇠하는 β-혼합 조건을 사용한다.
• 꼬리 행동를 제어하고 농도 부등식을 가능하게 하기 위해 모수 분포에 서브가우시안 꼬리 조건을 가정한다.
• 이차 형식의 편차를 제한하기 위해 β-혼합 서브가우시안 랜덤 벡터에 대한 새로운 하이즈너-하우잇 유형의 농도 부등식을 도출한다.
• β-혼합성과 서브가우시안성 하에서 제한된 고유값과 편차 조건에 대한 고확률 경계를 수립한다.
• 주요 정리(마스터 정리)를 사용하여 라소 추정자의 추정 오차 및 예측 오차에 대한 비점근적 경계를 도출한다.
• 세 가지 예제에 이 프레임워크를 적용한다: 표준 VAR, 잘못 지정된 VAR, ARCH 모델. 가정을 검증하고 오차 경계를 유도한다.

실험 결과

연구 질문

• RQ1 라소는 VAR나 ARCH와 같은 특정 DGM을 가정하지 않더라도 고차원 시계열에서 일致적인 추정과 예측을 제공할 수 있는가?
• RQ2 서브가우시안 꼬리와 β-혼합 종속성 조건 하에서 라소의 비점근적 오차 경계는 무엇인가?
• RQ3 진짜 DGM이 유한 차수 VAR가 아닐 경우 라소는 어떻게 작동하며, 이러한 경우에 무엇을 추정하는가?
• RQ4 β-혼합 서브가우시안 벡터에 대한 새로운 농도 부등식을 도출하고, 이를 통해 라소 보장을 확립할 수 있는가?
• RQ5 이론적 경계는 비정규, 비마르코프, 비선형 시계열 모델에 대해서도 성립하는가?

주요 결과

• β-혼합성과 서브가우시안성 조건 하에서 라소 추정자는 추정 오차 경계가 순서 O(s log p / n)로 유도되며, 여기서 s는 희박성, p는 차원이다.
• 예측 오차 경계는 동일한 조건 하에서 확립되었으며, 진짜 DGM이 유한 차수 VAR가 아닐 경우에도 일관성을 보여준다.
• 논문은 β-혼합 서브가우시안 벡터에 대한 새로운 하이즈너-하우잇 부등식을 도출하였으며, 이는 주요 결과를 증명하는 데 핵심적이다.
• VAR 모델의 경우, 제시된 가정 하에서 라소는 진짜 전이 행렬을 고확률으로 추정한다.
• 잘못 지정된 VAR의 경우, 라소는 과거 관측값 기반 최적의 선형 예측자를 추정하며, 오차 경계는 여전히 성립한다.
• 균일한 잡음 항을 갖는 ARCH 모델의 경우, 가정이 검증되었고, 기하급수적 β-혼합성과 서브가우시안성 조건 하에서 라소 오차 경계가 유효함을 보였다.