[논문 리뷰] Bootstrap Based Inference for Sparse High-Dimensional Time Series Models

Jonas Krampe, J.‐P. KREISS외 1명|arXiv (Cornell University)|2018. 06. 28.

Statistical Methods and Inference참고 문헌 46인용 수 13

한 줄 요약

이 논문은 정규화된 라소 추정기의 비표준 점근 분포를 극복하기 위해 보정된 추정기(de-biased estimators)를 사용하는 모델 기반 부트스트랩 절차를 제안한다. 이는 희박한 고차원 벡터 자기회귀(VAR) 모델에서 추론을 위한 방법으로, 약한 의존성과 희박성 조건 하에서 추정 및 검정에 대해 점근적 타당성을 확립한다.

ABSTRACT

Fitting sparse models to high-dimensional time series is an important area of statistical inference. In this paper we consider sparse vector autoregressive models and develop appropriate bootstrap methods to infer properties of such processes. Our bootstrap methodology generates pseudo time series using a model-based bootstrap procedure which involves an estimated, sparsified version of the underlying vector autoregressive model. Inference is performed using so-called de-sparsified or de-biased estimators of the autoregressive model parameters. We derive the asymptotic distribution of such estimators in the time series context and establish asymptotic validity of the bootstrap procedure proposed for estimation and, appropriately modified, for testing purposes. In particular we focus on testing that large groups of autoregressive coefficients equal zero. Our theoretical results are complemented by simulations which investigate the finite sample performance of the bootstrap methodology proposed. A real-life data application is also presented.

연구 동기 및 목표

• 표본 크기보다 모수의 수가 많은 고차원적이고 희박한 시계열 모델에서 신뢰할 수 있는 추론 방법의 부족을 해결한다.
• 기존의 추론 및 부트스트랩 방법을 방해하는 라소 유형 추정기의 비표준 점근 분포를 극복한다.
• 보정된 VAR 모수 추정기의 추론에 대해 점근적으로 타당한 부트스트랩 절차를 개발한다.
• 그랑저 인과성과 변수 선택에 관련된, 큰 그룹의 자기회귀 계수들이 동시에 0임을 검정할 수 있도록 한다.
• 약한 의존성과 증가하는 차원 수, 희박성 제약 조건 하에서 부트스트랩의 이론적 타당성을 확립한다.

제안 방법

• 희박화된 추정된 VAR 모형에서 가짜 시계열을 생성하는 모델 기반 부트스트랩을 사용한다.
• 라소 유형 정규화된 VAR 추정기의 내재된 편향을 보정하기 위해 보정된 또는 희박성 제거된 추정기를 적용한다.
• 고차원적, 희박한 VAR 조건 하에서 보정된 추정기의 점근 분포를 유도한다.
• 보정된 추정기와 그 추정된 표준오차를 기반으로 부트스트랩 통계량을 구성한다.
• 보정된 검정 통계량의 점근 분포를 가우시안 근사 기법을 통해 부트스트랩이 재현하도록 보장한다.
• 약한 의존성과 희박성 조건 하에서 부트스트랩 타당성을 정당화하기 위해 기능 중심 중심극한정리와 가우시안 근사 결과(예: Zhang과 Wu, 2017)를 활용한다.

실험 결과

연구 질문

• RQ1 고차원적이고 희박한 VAR 모델에서 추론에 대해 점근적으로 타당한 부트스트랩 절차를 개발할 수 있는가?
• RQ2 보정된 추정기를 어떻게 활용하여 고차원 시계열에서 타당한 신뢰구간과 p-값을 구성할 수 있는가?
• RQ3 큰 그룹의 자기회귀 계수들이 동시에 유의미하지 않다는 가설을 검정하는 데 있어 부트스트랩 절차가 점근적으로 타당한가?
• RQ4 이 설정에서 부트스트랩이 타당하기 위한 충분한 조건은 무엇인가? (의존성, 희박성, 차원 수에 대한 조건)
• RQ5 비표준 추정기를 사용하는 고차원 설정에서 제안된 부트스트랩은 기존의 모델 기반 부트스트랩 방법보다 어떻게 다를까?

주요 결과

• 제안된 부트스트랩 절차는 약한 의존성과 희박성 조건 하에서 보정된 VAR 모수 추정기의 추론에 대해 점근적으로 타당하다.
• 보정된 추정기의 점근 분포가 유도되었으며, 고차원 점근 조건 하에서 약간의 정규분포에 가까운 것으로 나타났다.
• 부트스트랩은 보정된 검정 통계량의 점근 분포를 재현하며, 모수 공간 전역에서 확률적으로 수렴한다.
• 모수의 수가 표본 크기를 초과하는 경우에도, 자기회귀 계수 그룹이 모두 0임을 검정하는 데에 유효한 방법을 제공한다.
• 시뮬레이션 결과는 부트스트랩의 유한표본 성능이 신뢰할 수 있으며, 신뢰구간과 가설 검정에 대해 적절한 커버리지와 크기를 보여준다.
• 이론적 정당성은 고차원 선형형식의 가우시안 근사와 약한 의존성 가정에 기반하며, 수렴 속도는 희박성과 차원 수에 따라 달라진다.