[논문 리뷰] Estimating Structured Vector Autoregressive Model

Igor Melnyk, Arindam Banerjee|arXiv (Cornell University)|2016. 02. 21.

Statistical Methods and Inference참고 문헌 36인용 수 24

한 줄 요약

이 논문은 종속적인 시계열 데이터를 가진 구조적 벡터 자기회귀(VAR) 모델에 대해 비점근적 추정 프레임워크를 제안한다. 일반화된 체이닝과 하위지수 마틴갈레 불등식을 활용하여 임의의 노름(예: 라소, 그룹 라소) 하에서 오차 한계를 확립한다. 놀랍게도, 시간적 및 변수 간 종속성이 있음에도 불구하고 추정 오차율이 독립 표본 라소 추정기와 동일하다.

ABSTRACT

While considerable advances have been made in estimating high-dimensional structured models from independent data using Lasso-type models, limited progress has been made for settings when the samples are dependent. We consider estimating structured VAR (vector auto-regressive models), where the structure can be captured by any suitable norm, e.g., Lasso, group Lasso, order weighted Lasso, sparse group Lasso, etc. In VAR setting with correlated noise, although there is strong dependence over time and covariates, we establish bounds on the non-asymptotic estimation error of structured VAR parameters. Surprisingly, the estimation error is of the same order as that of the corresponding Lasso-type estimator with independent samples, and the analysis holds for any norm. Our analysis relies on results in generic chaining, sub-exponential martingales, and spectral representation of VAR models. Experimental results on synthetic data with a variety of structures as well as real aviation data are presented, validating theoretical results.

연구 동기 및 목표

• 표준 i.i.d. 가정이 실패하는 고차원 구조적 VAR 모델에 대해 이론적 보장을 제공하는 데 있어 빈도가 높은 격차를 메운다.
• 다양한 구조적 사전 지식을 다변량 시계열에서 포괄할 수 있도록 Lasso 유형 정규화를 임의의 노름(예: L1, 그룹 라소, OWL)으로 확장한다.
• 강한 시간적 및 변수 간 종속성에도 불구하고 구조적 VAR 모수에 대한 비점근적 추정 오차 한계를 확립한다.
• 소음과 모델 안정성에 대한 최소한의 가정 하에서 고차원 설정에서 종속 관측치를 가진 정규화 VAR 추정에 대한 이론적 근거를 제공한다.

제안 방법

• 모수 행렬 A_k에 대해 임의의 노름 R(·)을 갖는 정규화 최적화 문제로 구조적 VAR 추정을 공식화함으로써 희박성, 그룹 희박성 또는 복잡한 구조적 해를 가능하게 한다.
• 시간적 종속성 하에서의 경험 과정 최대값을 분석하기 위해 일반화된 체이닝과 하위지수 마틴갈레 농도 불등식을 적용한다.
• VAR 과정의 스펙트럼 표현을 사용해 공분산 구조를 특성화하고 제한된 고유값 조건에 대한 한계를 유도한다.
• 공분산 행렬 C_X의 트레이스 및 스펙트럼 노름 한계를 사용해 Δ이 방향의 코너에 있을 때 XΔ의 기대 노름에 하한을 설정한다.
• 결과 [31] 및 [4]를 활용해 집합 Θ 위에서 ||Xu||_2의 하한에 대한 고확률 농도 불등식을 유도한다.
• 제한된 고유값 조건이 샘플 크기 N ≥ O(w(Θ)^2 / L)일 때 고확률로 성립함을 증명한다. 여기서 w(Θ)는 방향 집합의 가우시안 폭이고 L은 공분산 행렬의 최소 고유값에 대한 하한이다.

실험 결과

연구 질문

• RQ1 샘플이 시간에 따라 종속되어 있을 때, 구조적 VAR 모델에 대한 비점근적 추정 오차 한계를 확립할 수 있는가?
• RQ2 임의의 노름을 갖는 구조적 VAR 모델의 추정 오차율이 독립 표본 라소 추정기의 오차율과 일치하는가?
• RQ3 시간적 종속성 하에서 구조적 VAR 모수의 일관된 복원을 보장하기 위해 샘플 크기와 모델 파라미터에 어떤 조건이 필요한가?
• RQ4 일반화된 체이닝과 마틴갈레 농도를 다변량 시계열의 종속 구조를 다룰 수 있도록 어떻게 적응시킬 수 있는가?
• RQ5 노름 선택(예: L1, 그룹 라소, OWL)이 종속된 데이터를 가진 고차원 VAR 모델에서 추정 오차에 어떤 영향을 미치는가?

주요 결과

• 강한 시간적 및 변수 간 종속성에도 불구하고, 구조적 VAR 모델의 비점근적 추정 오차는 독립 표본 라소 추정기와 동일한 순서이다.
• 샘플 크기 N ≥ O(w(Θ)^2 / L)일 때 제한된 고유값 조건이 고확률로 성립하며, 여기서 w(Θ)는 방향 집합의 가우시안 폭이고 L은 공분산 행렬의 최소 고유값에 대한 하한이다.
• 분석은 L1, 그룹 라소, 순서화된 가중 L1, 겹치는 그룹 희박성 등 임의의 노름 R(·)에 적용 가능하여 다양한 구조적 사전 지식을 다각도로 모델링할 수 있다.
• 오차 한계는 VAR 과정의 스펙트럼 특성과 매개수 공간의 기하학적 성질에 의존하며, Λ_min(Σ), Λ_max(Σ), 및 자기회귀 연산자의 스펙트럼 노름에 명시적인 의존성을 가진다.
• 이론적 보장은 다양한 구조를 가진 시뮬레이션 데이터와 실세계 항공 데이터에서 검증되었으며, 예측과 강한 경험적 일치를 보였다.
• 유도된 한계는 비점근적이며 최소한의 가정 하에서 성립한다:(stationarity, 유한한 두 번째 모멘트, 소음 공분산 행렬 Σ의 고유값 유계성).