[论文解读] L1-Penalized Quantile Regression in High-Dimensional Sparse Models

Alexandre Belloni, Victor Chernozhukov|arXiv (Cornell University)|Apr 19, 2009

Statistical Methods and Inference参考文献 32被引用 36

一句话总结

本文针对高维稀疏模型（其中回归变量数 p 超过样本量 n，但仅有 s ≪ n 个变量真正具有影响力）开发并分析了 ℓ₁-惩罚分位数回归（ℓ₁-QR）及后 ℓ₁-QR 估计量。在分位数索引的紧集上，建立了以近 oracle 速率 √(s/n)√(log(p∨n)) 的一致收敛性，采用数据驱动的惩罚水平，可在稀疏性与 beta-min 条件下实现最优速率与模型选择一致性。

ABSTRACT

We consider median regression and, more generally, a possibly infinite collection of quantile regressions in high-dimensional sparse models. In these models the overall number of regressors $p$ is very large, possibly larger than the sample size $n$, but only $s$ of these regressors have non-zero impact on the conditional quantile of the response variable, where $s$ grows slower than $n$. We consider quantile regression penalized by the $\ell_1$-norm of coefficients ($\ell_1$-QR). First, we show that $\ell_1$-QR is consistent at the rate $\sqrt{s/n} \sqrt{\log p}$. The overall number of regressors $p$ affects the rate only through the $\log p$ factor, thus allowing nearly exponential growth in the number of zero-impact regressors. The rate result holds under relatively weak conditions, requiring that $s/n$ converges to zero at a super-logarithmic speed and that regularization parameter satisfies certain theoretical constraints. Second, we propose a pivotal, data-driven choice of the regularization parameter and show that it satisfies these theoretical constraints. Third, we show that $\ell_1$-QR correctly selects the true minimal model as a valid submodel, when the non-zero coefficients of the true model are well separated from zero. We also show that the number of non-zero coefficients in $\ell_1$-QR is of same stochastic order as $s$. Fourth, we analyze the rate of convergence of a two-step estimator that applies ordinary quantile regression to the selected model. Fifth, we evaluate the performance of $\ell_1$-QR in a Monte-Carlo experiment, and illustrate its use on an international economic growth application.

研究动机与目标

• 解决在 p ≫ n 情况下普通分位数回归在高维稀疏模型中的不一致性问题。
• 开发 ℓ₁-QR 与后 ℓ₁-QR 估计量，以实现在高维设置下的一致估计与模型选择。
• 建立 ℓ₁-QR 与后 ℓ₁-QR 在分位数索引紧集上的统一收敛速率。
• 提出一种数据驱动的、部分枢轴的惩罚水平，实现最优速率，且无需已知误差方差。
• 刻画 ℓ₁-QR 正确选择真实模型并利用硬阈值法恢复最小真实模型的条件。

提出的方法

• 提出 ℓ₁-惩罚分位数回归（ℓ₁-QR）以估计高维稀疏模型中的回归系数。
• 引入后 ℓ₁-QR 估计量，即对 ℓ₁-QR 选出的模型应用无惩罚分位数回归。
• 基于得分过程的样本分位数，推导出一种数据驱动的、部分枢轴的惩罚水平，确保最优速率性能。
• 利用经验过程理论与集中不等式，控制经验特征值并约束估计误差。
• 应用稀疏特征值条件与限制特征值假设，建立在分位数索引上的统一收敛性。
• 借助高维统计与经验过程理论的结果，推导出在分位数索引紧集上的统一界。

实验结果

研究问题

• RQ1 在高维稀疏模型中，ℓ₁-QR 是否能在分位数索引的紧集上统一达到近 oracle 速率 √(s/n)√(log(p∨n))？
• RQ2 ℓ₁-QR 中的数据驱动、部分枢轴惩罚水平是否能在不依赖误差方差知识的前提下实现最优收敛速率？
• RQ3 在真实模型稀疏的前提下，ℓ₁-QR 在何种条件下能将真实模型正确识别为子模型？
• RQ4 当 ℓ₁-QR 错误遗漏部分真实回归变量时，post-ℓ₁-QR 是否能实现比 ℓ₁-QR 更快的收敛速率？
• RQ5 在何种条件下，ℓ₁-QR 估计量的硬阈值处理能统一地恢复最小真实模型？

主要发现

• 在一般正则性条件下，ℓ₁-QR 在分位数索引的紧集上实现了统一一致，收敛速率接近 oracle 速率 √(s/n)√(log(p∨n))。
• 提出一种数据驱动的、部分枢轴的惩罚水平，并证明其性能与 oracle 惩罚水平一致，达到最优速率。
• 当非零系数与零的偏离足够大时（即满足 beta-min 条件），ℓ₁-QR 能够正确将真实模型识别为子模型。
• 后 ℓ₁-QR 达到了与 ℓ₁-QR 相同的近 oracle 速率；当 ℓ₁-QR 遗漏部分真实成分时，其速率可更接近 oracle 速率。
• 在适当条件下，ℓ₁-QR 估计量的硬阈值处理能统一地恢复最小真实模型，适用于分位数索引的紧集。
• 对于具有固定相关系数 ρ ∈ (−1,1) 的相关正态设计，设计矩阵的经验稀疏特征值以高概率被依赖于 ρ 的常数所有界，从而确保估计误差的统一控制。