[论文解读] Model selection by LASSO methods in a change-point model

Gabriela Ciuperca|arXiv (Cornell University)|Jul 5, 2011

Statistical Methods and Inference参考文献 20被引用 5

一句话总结

本文提出了高维线性回归模型中具有多个未知变点的LASSO与自适应LASSO估计量，实现了参数估计与自动变量选择的同步进行。在正则条件下，自适应LASSO估计量具备oracle性质，包括一致的变量选择与渐近正态估计。

ABSTRACT

The paper considers a linear regression model with multiple change-points occurring at unknown times. The LASSO technique is very interesting since it allows the parametric estimation, including the change-points, and automatic variable selection simultaneously. The asymptotic properties of the LASSO-type (which has as particular case the LASSO estimator) and of the adaptive LASSO estimators are studied. For this last estimator the oracle properties are proved. In both cases, a model selection criterion is proposed. Numerical examples are provided showing the performances of the adaptive LASSO estimator compared to the LS estimator.

研究动机与目标

• 解决高维预测变量下变点回归模型中缺乏变量选择方法的问题。
• 开发可同时估计回归系数与变点并选择相关协变量的估计量。
• 为多变点模型中的自适应LASSO建立渐近性质，特别是oracle性质。
• 基于LASSO型或自适应LASSO提出模型选择准则，以估计变点数量。
• 通过确保一致的变量选择与最优估计速率，克服标准LASSO在变点模型中的局限性。

提出的方法

• 通过最小化残差平方和并施加回归系数的L1惩罚项，应用LASSO型估计，实现系数收缩与变量选择。
• 引入基于数据的自适应权重的自适应LASSO，以提高变量选择的一致性并实现oracle性质。
• 采用惩罚似然方法，其中惩罚项依赖于估计的系数，以自适应地压缩无关变量。
• 在设计矩阵与误差项满足正则条件的前提下，建立估计量的收敛速率与渐近正态性。
• 提出基于自适应LASSO的模型选择准则，以估计变点数量，利用解的稀疏性。
• 分析各变点区间内估计量的行为，考虑未知边界及对回归与变点参数的依赖性。

实验结果

研究问题

• RQ1 LASSO型方法能否被适配于具有多个未知变点的高维线性回归模型，以实现同步估计与变量选择？
• RQ2 在变点模型中，自适应LASSO估计量是否能实现oracle性质——即一致的变量选择与渐近正态估计？
• RQ3 多个变点的存在如何影响LASSO型与自适应LASSO估计量的渐近行为？
• RQ4 能否从自适应LASSO推导出用于估计高维设定下变点数量的模型选择准则？
• RQ5 在变点与回归参数估计相互依赖的情况下，估计量在何种条件下仍能保持一致性和最优收敛速率？

主要发现

• 自适应LASSO估计量实现了oracle性质：它能一致地选择真实模型（即以概率趋于1将无关变量的系数设为零），并对非零系数进行最优速率估计。
• LASSO型估计量不满足oracle性质，因其对大回归参数存在估计偏差。
• 在正则条件下，自适应LASSO估计量在变量选择上具有一致性，且选择正确模型的概率随样本量增加而趋于1。
• 自适应LASSO估计量的收敛速率在每个区间内为 $ O_{I ext{P}}(1) $，且估计量渐近正态。
• 所提出的基于自适应LASSO的模型选择准则可一致地估计模型中的变点数量。
• 数值例子表明，自适应LASSO在高维变点模型中，相较于最小二乘估计量，在变量选择准确率与估计效率方面表现更优。