[논문 리뷰] Change point inference in high-dimensional regression models under temporal dependence

Haotian Xu, Daren Wang외 2명|arXiv (Cornell University)|2022. 07. 25.

Statistical Methods and Inference인용 수 8

한 줄 요약

이 논문은 시간적 의존성이 있는 고차원 선형 회귀 모델에서 변화점 추론에 대한 점점적 이론을 개발하며, 변화점 추정량의 점근적 분포를 퇴화하는 점프 크기와 일정한 점프 크기의 두 경우에 대해 수립한다. 기능적 의존성 하에서 일관된 블록형 장기 분산 추정량을 제안하고, 새로운 베르누이의 부등식을 유도하여 의존적인 고차원 설정에서 유효한 신뢰구간과 추론을 가능하게 한다.

ABSTRACT

This paper concerns about the limiting distributions of change point estimators, in a high-dimensional linear regression time series context, where a regression object $(y_t, X_t) \in \mathbb{R} imes \mathbb{R}^p$ is observed at every time point $t \in \{1, \ldots, n\}$. At unknown time points, called change points, the regression coefficients change, with the jump sizes measured in $\ell_2$-norm. We provide limiting distributions of the change point estimators in the regimes where the minimal jump size vanishes and where it remains a constant. We allow for both the covariate and noise sequences to be temporally dependent, in the functional dependence framework, which is the first time seen in the change point inference literature. We show that a block-type long-run variance estimator is consistent under the functional dependence, which facilitates the practical implementation of our derived limiting distributions. We also present a few important byproducts of our analysis, which are of their own interest. These include a novel variant of the dynamic programming algorithm to boost the computational efficiency, consistent change point localisation rates under temporal dependence and a new Bernstein inequality for data possessing functional dependence. Extensive numerical results are provided to support our theoretical results. The proposed methods are implemented in the R package exttt{changepoints} \citep{changepoints_R}.

연구 동기 및 목표

• 시간적 의존성이 있는 고차원 선형 회귀에서 변화점 추정량의 점근적 분포를 수립하기 위해.
• 기능적 의존성 하에서 일관된 블록형 장기 분산 추정량을 개발하여, 변화점 분석에서 새로운 프레임워크를 제공하기 위해.
• 의존적인 고차원 데이터에서 변화점에 대한 유효한 신뢰구간 구축을 가능하게 하기 위해.
• 약한 의존성 있는 공변량과 오차를 가진 설정에서 추론에 대한 이론적 근거를 제공하기 위해.
• 변화점 국소화를 위한 새로운 동적 프로그래밍 변형을 통해 계산 효율성을 확장하기 위해.

제안 방법

• 공변량과 오차의 시간적 의존성을 모델링하기 위해 기능적 의존성 프레임워크를 사용하여 선형 및 비선형 과정을 허용한다.
• 블록형 장기 분산 추정량을 유도하고, 기능적 의존성 하에서의 일관성을 증명한다.
• 기능적 의존성에 맞게 조정된 새로운 베르누이의 부등식을 제안하여 의존적인 고차원 데이터에 대한 농도 경계를 가능하게 한다.
• 변화점 탐지에서 계산 효율성을 향상시키기 위해 수정된 동적 프로그래밍 알고리즘을 제안한다.
• 퇴화하는 점프 크기와 일정한 점프 크기의 두 상황에서 변화점 추정량의 한계 분포를 수립한다.
• 유도된 점근적 이론을 활용하여 일관된 장기 분산 추정량을 사용해 변화점에 대한 신뢰구간을 구성한다.

실험 결과

연구 질문

• RQ1 시간적 의존성이 있는 고차원 회귀에서 최소 점프 크기가 퇴화하거나 일정할 경우 변화점 추정량의 한계 분포는 무엇인가?
• RQ2 고차원 시간열에서 기능적 의존성 하에서 장기 분산 추정량을 일관되게 추정할 수 있는가?
• RQ3 시간적 의존성이 있는 고차원 모델에서 일관된 변화점 국소화 속도는 무엇인가?
• RQ4 기능적 의존성에 대해 새로운 베르누이의 부등식을 도출할 수 있는가? 이는 고차원 설정에서의 농도 분석을 지원한다.
• RQ5 시간적 의존성이 있는 고차원 변화점 탐지에서 계산 효율성을 어떻게 향상시킬 수 있는가?

주요 결과

• 퇴화하는 점프 크기와 일정한 점프 크기의 두 경우에 대해 변화점 추정량의 점근적 분포가 유도되었으며, 이는 점근적으로 유효한 추론을 가능하게 한다.
• 기능적 의존성 프레임워크 하에서 블록형 장기 분산 추정량이 일관됨을 증명하여 실용적 추론을 뒷받침한다.
• 기능적 의존성에 적합한 새로운 베르누이의 부등식이 수립되어 의존적인 고차원 과정에 대한 농도 경계를 제공한다.
• 제안된 동적 프로그래밍 변형은 고차원 설정에서 변화점 국소화의 계산 효율성을 향상시킨다.
• 시간적 의존성 하에서 일관된 변화점 국소화 속도가 유도되었으며, 이는 추정 정확도를 정량화한다.
• 이론적 결과는 광범위한 수치 실험으로 뒷받침되며, 유한 표본에서 제안된 방법의 타당성을 검증한다.