[论文解读] Adaptive post-Dantzig estimation and prediction for non-sparse "large $p$ and small $n$" models

Lu Lin, Lixing Zhu+1 more|arXiv (Cornell University)|Aug 7, 2010

Statistical Methods and Inference参考文献 19被引用 3

一句话总结

本文提出了一种自适应后Dantzig估计方法，适用于高维非稀疏模型（$p$ 较大而 $n$ 较小），在传统方法因模型稀疏性假设失效时，该方法通过结合Dantzig选择器与非参数调整及工具变量，实现了即使在非稀疏条件下仍具有一致性和渐近正态性的估计，显著提升了经典方法（如高斯Dantzig选择器）的预测精度。

ABSTRACT

For consistency (even oracle properties) of estimation and model prediction, almost all existing methods of variable/feature selection critically depend on sparsity of models. However, for ``large $p$ and small $n$" models sparsity assumption is hard to check and particularly, when this assumption is violated, the consistency of all existing estimations is usually impossible because working models selected by existing methods such as the LASSO and the Dantzig selector are usually biased. To attack this problem, we in this paper propose adaptive post-Dantzig estimation and model prediction. Here the adaptability means that the consistency based on the newly proposed method is adaptive to non-sparsity of model, choice of shrinkage tuning parameter and dimension of predictor vector. The idea is that after a sub-model as a working model is determined by the Dantzig selector, we construct a globally unbiased sub-model by choosing suitable instrumental variables and nonparametric adjustment. The new estimation of the parameters in the sub-model can be of the asymptotic normality. The consistent estimator, together with the selected sub-model and adjusted model, improves model predictions. Simulation studies show that the new approach has the significant improvement of estimation and prediction accuracies over the Gaussian Dantzig selector and other classical methods have.

研究动机与目标

• 解决现有估计方法在非稀疏的'大 $p$，小 $n$' 模型中因稀疏性假设不成立而导致的不一致性问题。
• 开发一种方法，无论模型是否稀疏、调参选择如何或维度高低，均能实现估计一致性与渐近正态性。
• 通过校正Dantzig选择器所选工作模型中的偏差，提升模型估计与预测精度。
• 建立一种在超高维回归中无需依赖稀疏性的稳定推断框架。

提出的方法

• 该方法首先利用Dantzig选择器选取一个工作子模型以降低维度。
• 引入工具变量以构建全局无偏的子模型，从而校正初始选择带来的偏差。
• 基于工具变量，使用低维非参数估计对所选子模型实施非参数调整。
• 最终估计量通过求解一个结合了非参数调整与工具变量结构的校正估计方程获得。
• 在正则条件下，即使参数向量的维度 $q$ 随样本量增长，仍可证明其渐近正态性与 $\ell_2$ 一致性。
• 该方法对非稀疏性、调参选择与维度具有自适应性，确保在多种高维设定下均表现稳健。

实验结果

研究问题

• RQ1 在稀疏性假设不成立的非稀疏'大 $p$，小 $n$' 模型中，能否实现一致且渐近正态的估计？
• RQ2 如何校正Dantzig选择器工作模型中的偏差，以提升估计与预测精度？
• RQ3 工具变量与非参数调整在非稀疏条件下实现一致性的角色是什么？
• RQ4 当参数数量 $q$ 随样本量增加时，所提方法是否仍能保持一致性和渐近正态性？
• RQ5 在非稀疏设定下，该方法与高斯Dantzig选择器及其他经典方法相比性能如何？

主要发现

• 在固定 $q$ 条件下，所提出的自适应后Dantzig估计量满足 $\|\hat{\theta} - \theta\|_{{\ell}_2}^2 = O_p(n^{-1})$，确保了 $\ell_2$ 一致性。
• 在正则条件下，即使参数向量维度 $q$ 随样本量发散，估计量仍具渐近正态性。
• 模拟研究显示，该方法在估计与预测精度方面显著优于高斯Dantzig选择器及其他经典方法。
• 基于工具变量的非参数调整实现了全局无偏估计，有效校正了Dantzig选择器工作模型的固有偏差。
• 该方法对非稀疏性、调参选择与维度具有自适应性，使其在多种高维设定下均表现稳健。
• 理论结果表明，估计误差被控制在 $O_p(h^k + 1/\sqrt{nh^{2(d+1)}}) + O_p(n^{-\mu})$ 范围内，最优带宽选择下收敛速率为 $O_p(n^{-k/(2(k+d+1))})$。