[论文解读] Group Lasso for high dimensional sparse quantile regression models

Kengo Kato|arXiv (Cornell University)|Mar 8, 2011

Statistical Methods and Inference参考文献 46被引用 41

一句话总结

本文建立了高维稀疏分位数回归中组Lasso的ℓ₂估计误差的非渐近界，证明当组结构与真实稀疏性一致时，其性能优于ℓ₁惩罚分位数回归。研究扩展了数据驱动的调优参数选择方法，并表明在加性分位数回归模型中，组Lasso可实现任意接近Oracle率的收敛速度。

ABSTRACT

This paper studies the statistical properties of the group Lasso estimator for high dimensional sparse quantile regression models where the number of explanatory variables (or the number of groups of explanatory variables) is possibly much larger than the sample size while the number of variables in "active" groups is sufficiently small. We establish a non-asymptotic bound on the $\ell_{2}$-estimation error of the estimator. This bound explains situations under which the group Lasso estimator is potentially superior/inferior to the $\ell_{1}$-penalized quantile regression estimator in terms of the estimation error. We also propose a data-dependent choice of the tuning parameter to make the method more practical, by extending the original proposal of Belloni and Chernozhukov (2011) for the $\ell_{1}$-penalized quantile regression estimator. As an application, we analyze high dimensional additive quantile regression models. We show that under a set of suitable regularity conditions, the group Lasso estimator can attain the convergence rate arbitrarily close to the oracle rate. Finally, we conduct simulations experiments to examine our theoretical results.

研究动机与目标

• 建立高维稀疏分位数回归模型中组Lasso的非渐近ℓ₂估计误差界。
• 阐明组Lasso在估计误差方面优于ℓ₁惩罚分位数回归的条件。
• 将Belloni和Chernozhukov（2011）提出的数据依赖调优参数选择方法扩展至组Lasso框架，以实现实际应用。
• 将组Lasso应用于高维加性分位数回归模型，并推导收敛速度。
• 证明在正则性条件下，组Lasso估计器可实现任意接近Stone的Oracle率n^{-ν/(2ν+1)}的收敛速度。

提出的方法

• 在真实条件分位数函数能被基函数的稀疏线性组合良好逼近的非零偏差设定下，推导组Lasso估计器的ℓ₂估计误差的非渐近界。
• 将Belloni和Chernozhukov（2011）的方法扩展至组Lasso情形，确保在非零偏差情况下仍具有渐近有效性。
• 通过基函数的截断级数展开近似加性分量，将变量选择转化为系数的组选择，从而将组Lasso应用于加性分位数回归。
• 采用具有组内协方差结构的设计矩阵，假设设计矩阵的组内子矩阵满足组内稀疏性和有界特征值条件。
• 利用浓度不等式与对称化技术控制经验过程，推导估计误差的高概率界。
• 通过结合估计误差界与基函数展开的逼近误差，利用条件分位数函数的光滑性（ν-光滑性）建立收敛速度。

实验结果

研究问题

• RQ1 在何种条件下，组Lasso估计器的ℓ₂估计误差优于ℓ₁惩罚分位数回归估计器？
• RQ2 在非零偏差设定下，组Lasso的数据驱动调优参数选择规则是否具有渐近有效性？
• RQ3 组Lasso估计器在高维加性分位数回归模型中可实现何种收敛速度？
• RQ4 当真实参数向量为组内稀疏但条件分位数函数并非精确稀疏时，组Lasso表现如何？
• RQ5 在光滑性条件下，组Lasso估计器在加性分位数回归中可多接近Oracle率？

主要发现

• 组Lasso估计器以高概率实现ℓ₂估计误差界为O(t(n^{-ν/(2ν+1)} ∨ √(log d / n)))，其中t为调优参数，ν表示条件分位数函数的光滑度。
• 在适当正则性条件下（包括m log d / n → 0 且 t²(n^{(1-2ν)/(2ν+1)} ∨ (m log d / n)) → 0），组Lasso估计器可实现任意接近Oracle率n^{-ν/(2ν+1)}的收敛速度。
• 估计误差的非渐近界表明，当真实稀疏模式与组结构一致时，组Lasso优于ℓ₁惩罚。
• 从Belloni和Chernozhukov（2011）扩展而来的数据依赖调优参数选择规则，在适当条件下即使在非零偏差情形下也具有渐近有效性。
• 截断加性分量级数展开的逼近误差为O(m^{-ν})，当m适当选取时，该误差可被整体收敛速度吸收。
• 通过结合组选择与基函数逼近，该方法在加性分位数回归中实现近Oracle性能，最终收敛速度取决于样本大小与光滑度ν。