[论文解读] Adaptive elastic-net selection in a quantile model with diverging number of variable groups

Gabriela Ciuperca|arXiv (Cornell University)|May 16, 2018

Statistical Methods and Inference参考文献 32被引用 5

一句话总结

本文提出了一种适用于具有发散变量组数的高维线性模型的自适应弹性网组分 quantile 回归估计器。通过结合自适应 LASSO 和弹性网惩罚，该方法实现了模型选择的一致性以及非零组估计器的渐近正态性，模拟结果表明在有限样本中其估计精度优于现有组估计器。

ABSTRACT

In real applications of the linear model, the explanatory variables are very often naturally grouped, the most common example being the multivariate variance analysis. In the present paper, a quantile model with structure group is considered, the number of groups can diverge with sample size. We introduce and study the adaptive elastic-net group estimator, for improving the parameter estimation accuracy. This method allows automatic selection, with a probability converging to one, of significant groups and further the non zero parameter estimators are asymptotically normal. The convergence rate of the adaptive elastic-net group quantile estimator is also obtained, rate which depends on the number of groups. In order to put the estimation method into practice, an algorithm based on the subgradient method is proposed and implemented. The Monte Carlo simulations show that the adaptive elastic-net group quantile estimations are more accurate that other existing group estimations in the literature. Moreover, the numerical study confirms the theoretical results and the usefulness of the proposed estimation method.

研究动机与目标

• 解决当组数随样本量增长时，在高维分位数回归中选择显著变量组的挑战。
• 通过引入弹性网惩罚，提升估计精度，超越标准组 LASSO 方法。
• 建立非零组估计器的选择一致性与渐近正态性等理论性质。
• 基于次梯度方法开发一种实用算法，用于计算所提出的估计器。

提出的方法

• 提出一种自适应弹性网惩罚，结合组 LASSO 与岭型惩罚，以提升分位数回归中的估计精度。
• 采用两阶段惩罚策略：基于初始分位数估计的自适应权重，随后应用弹性网正则化以处理组内相关性。
• 在正则条件下推导估计器的渐近分布，证明非零组系数的渐近正态性。
• 开发基于次梯度的算法以计算估计器，实现在高维设置下的实际应用。
• 将方法应用于具有分组协变量的线性分位数模型，允许组数随样本量发散。
• 通过蒙特卡洛模拟验证方法性能，与现有组分位数估计器进行比较。

实验结果

研究问题

• RQ1 自适应弹性网惩罚是否能提升在组数发散的高维分位数回归中的估计精度？
• RQ2 所提出的方法是否能实现模型选择一致性，即以趋于 1 的概率正确识别显著组？
• RQ3 非零组估计器是否渐近正态，以满足有效推断的要求？
• RQ4 所提出估计器的收敛速度如何依赖于组数？
• RQ5 基于次梯度的算法是否能在有限样本中可靠计算估计器，且与现有算法相比表现如何？

主要发现

• 自适应弹性网组分 quantile 估计器实现了选择一致性，随着样本量增加，能以趋于 1 的概率自动识别显著组。
• 非零组估计器渐近正态，从而支持对所选组的可靠统计推断。
• 估计器的收敛速度依赖于组数，当组数以次指数速率增长时，收敛速度更快。
• 蒙特卡洛模拟结果表明，所提出的估计器在估计精度与选择性能方面均优于现有组估计器。
• 基于次梯度的算法成功计算了估计器，且结果与未分组模型的成熟算法保持一致。
• 理论结果得到经验验证，显示渐近理论与有限样本行为之间具有高度一致性。