[论文解读] Flexible Shrinkage Estimation in High-Dimensional Varying Coefficient Models

Heng Lian|arXiv (Cornell University)|Aug 13, 2010

Dam Engineering and Safety参考文献 30被引用 3

一句话总结

该论文提出了一种基于B样条展开的自适应组套索双收缩估计方法，用于在高维变系数模型中同时实现变量选择与常数系数识别，其中 $ p \gg n $。该方法在模型选择中实现了Oracle性质和一致性，即使相关变量数量随样本量增长，仍保持有效，并建立了用于正则化参数选择的半参数BIC型准则的理论有效性。

ABSTRACT

We consider the problem of simultaneous variable selection and constant coefficient identification in high-dimensional varying coefficient models based on B-spline basis expansion. Both objectives can be considered as some type of model selection problems and we show that they can be achieved by a double shrinkage strategy. We apply the adaptive group Lasso penalty in models involving a diverging number of covariates, which can be much larger than the sample size, but we assume the number of relevant variables is smaller than the sample size via model sparsity. Such so-called ultra-high dimensional settings are especially challenging in semiparametric models as we consider here and has not been dealt with before. Under suitable conditions, we show that consistency in terms of both variable selection and constant coefficient identification can be achieved, as well as the oracle property of the constant coefficients. Even in the case that the zero and constant coefficients are known a priori, our results appear to be new in that it reduces to semivarying coefficient models (a.k.a. partially linear varying coefficient models) with a diverging number of covariates. We also theoretically demonstrate the consistency of a semiparametric BIC-type criterion in this high-dimensional context, extending several previous results. The finite sample behavior of the estimator is evaluated by some Monte Carlo studies.

研究动机与目标

• 解决高维变系数模型中同时进行变量选择与常数系数识别的挑战，其中 $ p \gg n $。
• 将现有惩罚方法扩展至具有发散协变量数的超高维半参数模型。
• 在稀疏性假设下，建立变量选择与常数系数识别的理论一致性。
• 开发并证明用于高维设置下自动正则化参数选择的半参数BIC型准则的合理性。
• 证明当零系数与常数系数已知先验时，该方法仍保持一致性，退化为具有发散协变量的半变系数模型。

提出的方法

• 使用B样条基展开表示变系数，使非参数估计在有限维逼近空间中实现。
• 应用自适应组套索惩罚，通过组结构同时收缩整个系数函数并识别常数系数。
• 将估计问题表述为凸优化问题，以确保全局收敛并满足KKT条件。
• 将设计矩阵分解为与非参数和参数子空间相关的分量，以分析渐近行为。
• 利用Frobenius范数和矩阵投影技术，界定估计误差并推导收敛速率。
• 提出基于残差平方和与模型复杂度的半参数BIC型准则，用于一致地选择调优参数。

实验结果

研究问题

• RQ1 自适应组套索能否在高维变系数模型中实现同时的变量选择与常数系数识别？
• RQ2 在 $ p \gg n $ 的超高维设置下，所提方法是否对常数系数保持Oracle性质？
• RQ3 当协变量数量发散时，半参数BIC型准则是否能一致地选择正则化参数？
• RQ4 该方法在有限样本下表现如何，特别是能否准确区分零系数、常数系数与非参数系数？
• RQ5 理论一致性结果能否推广至具有发散协变量数的半变系数模型？

主要发现

• 所提出的双收缩估计量实现了模型选择的一致性，以趋于1的概率正确识别零系数。
• 该方法对常数系数实现了Oracle性质，即其估计效率等同于已知真实结构时的估计。
• 半参数BIC型准则的一致性得到理论证明，使得在高维设置下可实现正则化参数的自动且一致的选择。
• 理论界表明，估计误差以 $ O_p(\sqrt{ns}/n) $ 的速率收敛至零，额外项通过B样条逼近和设计矩阵分解得到控制。
• 有限样本模拟结果证实，该方法在高维场景下能准确区分零系数、常数系数与变系数。
• 即使真实零系数与常数系数结构已知，该方法的一致性结果仍具新颖性，并可推广至具有发散协变量数的半变系数模型。