[论文解读] Exponential Screening and optimal rates of sparse estimation

Philippe Rigollet, Tsybakov, Alexandre|arXiv (Cornell University)|Mar 12, 2010

Statistical Methods and Inference参考文献 41被引用 86

一句话总结

本文提出指数筛选（es），一种用于高维线性回归的新型稀疏估计方法，可自适应地平衡均方误差与稀疏性。通过使用离散先验的指数加权聚合，同时利用三种类型的稀疏性——低秩设计矩阵、少量非零系数（ℓ₀ 范数）以及较小的 ℓ₁ 范数——该方法实现了最优极小极大率，在理论和模拟中均优于现有方法。

ABSTRACT

In high-dimensional linear regression, the goal pursued here is to estimate an unknown regression function using linear combinations of a suitable set of covariates. One of the key assumptions for the success of any statistical procedure in this setup is to assume that the linear combination is sparse in some sense, for example, that it involves only few covariates. We consider a general, non necessarily linear, regression with Gaussian noise and study a related question that is to find a linear combination of approximating functions, which is at the same time sparse and has small mean squared error (MSE). We introduce a new estimation procedure, called Exponential Screening that shows remarkable adaptation properties. It adapts to the linear combination that optimally balances MSE and sparsity, whether the latter is measured in terms of the number of non-zero entries in the combination ($\ell_0$ norm) or in terms of the global weight of the combination ($\ell_1$ norm). The power of this adaptation result is illustrated by showing that Exponential Screening solves optimally and simultaneously all the problems of aggregation in Gaussian regression that have been discussed in the literature. Moreover, we show that the performance of the Exponential Screening estimator cannot be improved in a minimax sense, even if the optimal sparsity is known in advance. The theoretical and numerical superiority of Exponential Screening compared to state-of-the-art sparse procedures is also discussed.

研究动机与目标

• 开发一种稀疏估计方法，使其在高维回归中能最优地适应 ℓ₀ 和 ℓ₁ 稀疏性度量。
• 在一般稀疏性假设下，建立所提估计量的极小极大最优性。
• 统一并解决高斯回归中固定设计下的所有标准聚合问题（线性、凸、模型选择等）。
• 提供一种理论基础坚实且计算上可行的方法，其性能优于 Lasso 和 BIC 等最先进方法。
• 证明即使在事先已知最优稀疏性水平的情况下，该估计量的性能也无法进一步提升。

提出的方法

• 提出指数筛选（es），一种基于对模型子集上离散先验的最小二乘估计量的指数加权聚合的新估计量。
• 采用偏好稀疏模型的先验，使估计量能够自适应未知的 ℓ₀ 和 ℓ₁ 范数下的稀疏水平。
• 推导出稀疏性Oracle不等式（SOI），其风险以 ℓ₀ 和 ℓ₁ 速率的最小值为界，证明估计量能最优地适应最佳权衡。
• 引入马尔可夫链蒙特卡洛中的 Metropolis-Hastings 算法，以在高维设置下高效近似 es 估计量。
• 建立与 es 上界风险匹配的极小极大下界，证明其最优性。
• 在固定设计下分析估计量，表明最优收敛速率取决于设计矩阵 X 的秩，该秩调节了收敛速度。

实验结果

研究问题

• RQ1 是否能通过单一稀疏估计方法，同时实现 ℓ₀ 和 ℓ₁ 稀疏性度量的最优速率？
• RQ2 稀疏估计量的性能是否本质上受限于 ℓ₀ 和 ℓ₁ 范数之间的相互作用，且能否在统一的Oracle不等式中捕捉这一关系？
• RQ3 当真实稀疏性水平已知时，指数筛选估计量是否仍能实现极小极大最优性？
• RQ4 固定设计高斯回归中的最优聚合速率与随机设计模型中的有何不同？
• RQ5 能否设计一种计算高效的算法来近似 es 估计量，同时不损失理论最优性？

主要发现

• 指数筛选实现了依赖于 ℓ₀ 和 ℓ₁ 速率最小值的稀疏性Oracle不等式（SOI），证明其能最优地适应两种稀疏性度量。
• 该估计量在 ℓ₀ 和 ℓ₁ 球的交集上达到了极小极大最优收敛速率，由匹配的极小极大下界证实。
• 固定设计回归中的最优聚合速率慢于随机设计模型，且依赖于设计矩阵 X 的秩。
• 模拟研究显示，es 估计量在性能上优于 Lasso 和 BIC，展现出理论与实证上的优越性。
• es 的理论最优性具有鲁棒性：即使已知最优稀疏性，也不存在其他估计量能在极小极大意义下表现更优。
• 该方法能同时受益于三种类型的稀疏性：低秩设计矩阵、少量非零系数，以及系数向量的较小 ℓ₁ 范数。