[论文解读] Change point inference in high-dimensional regression models under temporal dependence

Haotian Xu, Daren Wang+2 more|arXiv (Cornell University)|Jul 25, 2022

Statistical Methods and Inference被引用 8

一句话总结

本文针对在时间依赖条件下高维线性回归模型中的变点推断问题，建立了渐近理论，推导了在跳跃大小趋于零和保持恒定两种情形下变点估计量的极限分布。提出了一种在函数依赖下的一致块型长期方差估计量，并推导了新颖的伯恩斯坦不等式，从而在依赖性高维设定下实现了有效的置信区间构造与统计推断。

ABSTRACT

This paper concerns about the limiting distributions of change point estimators, in a high-dimensional linear regression time series context, where a regression object $(y_t, X_t) \in \mathbb{R} imes \mathbb{R}^p$ is observed at every time point $t \in \{1, \ldots, n\}$. At unknown time points, called change points, the regression coefficients change, with the jump sizes measured in $\ell_2$-norm. We provide limiting distributions of the change point estimators in the regimes where the minimal jump size vanishes and where it remains a constant. We allow for both the covariate and noise sequences to be temporally dependent, in the functional dependence framework, which is the first time seen in the change point inference literature. We show that a block-type long-run variance estimator is consistent under the functional dependence, which facilitates the practical implementation of our derived limiting distributions. We also present a few important byproducts of our analysis, which are of their own interest. These include a novel variant of the dynamic programming algorithm to boost the computational efficiency, consistent change point localisation rates under temporal dependence and a new Bernstein inequality for data possessing functional dependence. Extensive numerical results are provided to support our theoretical results. The proposed methods are implemented in the R package exttt{changepoints} \citep{changepoints_R}.

研究动机与目标

• 在时间依赖条件下，建立高维线性回归中变点估计量的极限分布。
• 在函数依赖下，开发一种一致的块型长期方差估计量，这是变点分析中一种新颖的框架。
• 在依赖性高维数据中，实现变点置信区间的有效构造。
• 为弱相关协变量与误差的设定提供理论依据以支持推断。
• 通过一种新型动态规划变体，提升高维变点定位的计算效率。

提出的方法

• 使用函数依赖框架来建模协变量与误差中的时间依赖性，允许线性和非线性过程。
• 推导出一种块型长期方差估计量，并在函数依赖下证明其一致性。
• 提出一种专为函数依赖设计的新伯恩斯坦不等式，从而为依赖性高维数据提供浓度界限。
• 提出一种改进的动态规划算法，以提升高维变点检测中的计算效率。
• 在两种情形下建立变点估计量的极限分布：跳跃大小趋于零与保持恒定。
• 应用所推导的渐近理论，利用一致的长期方差估计量构造变点的置信区间。

实验结果

研究问题

• RQ1 在时间依赖条件下，当最小跳跃大小趋于零或保持恒定时，高维回归中变点估计量的极限分布是什么？
• RQ2 在高维时间序列中，如何在函数依赖下一致地估计长期方差估计量？
• RQ3 在时间依赖下，高维模型中一致变点定位的速率是多少？
• RQ4 能否为函数依赖推导出一种新颖的伯恩斯坦不等式，以支持高维设定下的浓度分析？
• RQ5 如何在时间依赖的高维变点检测中提升计算效率？

主要发现

• 在跳跃大小趋于零和保持恒定两种情形下，均推导出变点估计量的极限分布，从而支持渐近有效的推断。
• 在函数依赖框架下，证明了块型长期方差估计量的一致性，支持实际推断应用。
• 建立了一种针对函数依赖的新伯恩斯坦不等式，为依赖性高维过程提供了浓度界限。
• 所提出的动态规划变体提升了高维设定下变点定位的计算效率。
• 在时间依赖下，推导出了一致变点定位的速率，量化了估计精度。
• 理论结果通过广泛的数值实验得到支持，验证了所提方法在有限样本中的有效性。