[论文解读] An efficient two step algorithm for high dimensional change point regression models without grid search

Abhishek Kaul, Venkata K. Jandhyala+1 more|arXiv (Cornell University)|May 9, 2018

Statistical Methods and Inference参考文献 48被引用 14

一句话总结

该论文提出了一种两步法、无需网格搜索的高维变点回归算法，采用ℓ₁/ℓ₀正则化，在仅付出单次Lasso两倍计算成本的情况下实现计算高效。该方法建立了最优收敛速率，并能唯一检测‘无变化’情形，即使跳跃大小随样本量增长亦可。

ABSTRACT

We propose a two step algorithm based on $\ell_1/\ell_0$ regularization for the detection and estimation of parameters of a high dimensional change point regression model and provide the corresponding rates of convergence for the change point as well as the regression parameter estimates. Importantly, the computational cost of our estimator is only $2\cdotp$Lasso$(n,p)$, where Lasso$(n,p)$ represents the computational burden of one Lasso optimization in a model of size $(n,p)$. In comparison, existing grid search based approaches to this problem require a computational cost of at least $n\cdot { m Lasso}(n,p)$ optimizations. Additionally, the proposed method is shown to be able to consistently detect the case of `no change', i.e., where no finite change point exists in the model. We work under a subgaussian random design where the underlying assumptions in our study are milder than those currently assumed in the high dimensional change point regression literature. We allow the true change point parameter $τ_0$ to possibly move to the boundaries of its parametric space, and the jump size $\|β_0-γ_0\|_2$ to possibly diverge as $n$ increases. We then characterize the corresponding effects on the rates of convergence of the change point and regression estimates. In particular, we show that, while an increasing jump size may have a beneficial effect on the change point estimate, however the optimal rate of regression parameter estimates are preserved only upto a certain rate of the increasing jump size. This behavior in the rate of regression parameter estimates is unique to high dimensional change point regression models only. Simulations are performed to empirically evaluate performance of the proposed estimators. The methodology is applied to community level socio-economic data of the U.S., collected from the 1990 U.S. census and other sources.

研究动机与目标

• 解决现有基于网格搜索的高维变点回归方法计算效率低下的问题。
• 开发一种无需对所有可能变点进行穷举搜索即可检测回归参数结构性变化的方法。
• 在温和的次高斯设计假设下，确保对‘无变化’情形（即τ₀ = -∞）检测的一致性。
• 在灵活条件下（包括发散跳跃大小）建立变点与回归参数估计的理论收敛速率。
• 提供一种计算可扩展的解决方案，适用于真实世界中的高维数据，如社会经济社区数据。

提出的方法

• 提出两步算法：首先通过ℓ₀正则化优化估计变点，然后在每个区间内通过ℓ₁正则化（Lasso）回归估计回归系数。
• 采用基于变点诱导变量的第50百分位数的新型初始化策略，避免网格搜索。
• 结合交叉验证与BIC选择调优参数（λ₁, λ₂, μ），以平衡模型拟合与稀疏性。
• 将模型表述为两阶段回归：yᵢ = xᵢᵀβ₀𝟏{wᵢ ≤ τ₀} + xᵢᵀγ₀𝟏{wᵢ > τ₀} + εᵢ，允许τ₀ = -∞表示‘无变化’情形。
• 实施预处理步骤，包括异常值剔除、相关性过滤与均值中心化，以确保模型可识别性与稳定性。
• 使用ℓ₀正则化促进变点检测中的稀疏性，使用ℓ₁正则化实现回归估计中的变量选择与高效计算。

实验结果

研究问题

• RQ1 两步法是否能在不执行所有可能变点网格搜索的情况下，实现高维回归模型中变点检测的一致性？
• RQ2 在一般次高斯设计与发散跳跃大小条件下，变点与回归参数估计的理论收敛速率为何？
• RQ3 当不存在结构性断裂时，所提方法是否仍能保持对‘无变化’情形（τ₀ = -∞）检测的一致性？
• RQ4 跳跃大小∥β₀ - γ₀∥₂的增加如何影响变点与回归系数估计的准确性？
• RQ5 该方法是否可在真实世界高维数据中实际应用，且计算开销极低？

主要发现

• 所提算法的计算成本仅为2×Lasso(n,p)，显著低于需n×Lasso(n,p)次优化的网格搜索方法。
• 该方法一致地检测出‘无变化’情形（τ₀ = -∞），当无有限变点存在时，估计的变点收敛至-∞。
• 在‘Communities and Crime’数据集中，该方法在人口的第73百分位处识别出变点（τ̂⁽¹⁾ = 0.23），前后系数模式明显不同。
• 当使用‘中位数收入’作为变点诱导变量时，该方法检测到无变化（τ̂⁽1） = -∞），结果为标准线性模型。
• 在基于人口的模型中，变点前后估计的回归系数呈现近乎不相交的特征集，表明存在强烈的结构性转变。
• 回归参数估计的收敛速率仅在跳跃大小增长至某一特定速率以内时得以保持；超过该速率后，估计精度下降，这是高维变点模型中的一种独特行为。