[论文解读] Localizing Changes in High-Dimensional Regression Models

Alessandro Rinaldo, Daren Wang+3 more|arXiv (Cornell University)|Oct 20, 2020

Statistical Methods and Inference参考文献 24被引用 8

一句话总结

本文提出了一种基于动态规划的方法，用于在高维线性回归模型中定位分段常数系数的变点。该方法在弱信噪比条件下实现了最优的定位误差率，并引入了一个可证明减少估计误差的精炼步骤，其误差率与最小最大下界仅相差对数因子。

ABSTRACT

This paper addresses the problem of localizing change points in high-dimensional linear regression models with piecewise constant regression coefficients. We develop a dynamic programming approach to estimate the locations of the change points whose performance improves upon the current state-of-the-art, even as the dimensionality, the sparsity of the regression coefficients, the temporal spacing between two consecutive change points, and the magnitude of the difference of two consecutive regression coefficient vectors are allowed to vary with the sample size. Furthermore, we devise a computationally-efficient refinement procedure that provably reduces the localization error of preliminary estimates of the change points. We demonstrate minimax lower bounds on the localization error that nearly match the upper bound on the localization error of our methodology and show that the signal-to-noise condition we impose is essentially the weakest possible based on information-theoretic arguments. Extensive numerical results support our theoretical findings, and experiments on real air quality data reveal change points supported by historical information not used by the algorithm.

研究动机与目标

• 开发一种计算高效且一致的高维线性回归模型中分段常数系数变点估计方法。
• 通过实现适应不同维度、稀疏性、变点间距和信号强度的更精确定位误差率，改进现有方法。
• 建立定位与检测误差的信息论下界，揭示该问题的根本极限。
• 设计一种精炼程序，可证明地进一步降低初始动态规划估计的定位误差。
• 通过广泛的模拟实验和对空气质量数据的真实世界分析，验证理论发现。

提出的方法

• 该方法使用动态规划，通过在候选分段点上最小化惩罚最小二乘准则来估计变点。
• 引入稀疏性诱导惩罚，以处理仅有少量非零元素的高维系数向量。
• 应用第二阶段精炼程序，通过聚焦优化窗口对局部变点重新估计，以提高定位精度。
• 理论分析基于协变量和误差的次高斯假设，并对设计协方差矩阵的特征值施加约束。
• 该方法在温和条件下实现的定位误差率几乎匹配最小最大下界。
• 理论保证通过浓度不等式和高斯混合模型的信息论下界分析中的卡方散度界推导得出。

实验结果

研究问题

• RQ1 动态规划方法是否能在具有分段常数系数的高维回归中实现最优定位误差？
• RQ2 所提方法的性能如何随维度、稀疏性、变点间距和信号幅度变化而变化？
• RQ3 该模型中变点定位的根本极限（最小最大下界）是什么？
• RQ4 精炼程序是否可证明地将定位误差降低至初始动态规划估计值以下？
• RQ5 一致估计所需的信噪比条件是否本质上是最弱可能的？

主要发现

• 所提动态规划方法实现的定位误差率在温和条件下达到最优，仅与最小最大下界相差对数因子。
• 精炼程序可证明地降低了定位误差，即使初始方法已达到最佳已知误差率，仍能进一步改进。
• 一致估计所需的信噪比条件被证明是信息论最优的，意味着在更弱条件下任何方法均无法成功。
• 首次在该模型中建立了检测与定位的最小最大下界，确认了问题的根本极限。
• 模拟数据的数值实验验证了理论误差率，对空气质量的真实数据分析揭示了与算法未使用的历史事件一致的变点。
• 该方法在维度和稀疏性随样本量变化时仍保持计算高效，适用于现代高维时间序列。