[论文解读] Estimator selection in the Gaussian setting

Yannick Baraud, Christophe Giraud+1 more|arXiv (Cornell University)|Jul 13, 2010

Statistical Methods and Inference被引用 9

一句话总结

该论文提出了一种针对未知方差的高斯位置模型的非渐近估计器选择程序，基于相同数据从任意集合中选择最优估计器。该方法建立了精确的风险界和oracle不等式，实现了在模型选择、聚合、调参及变量选择中的最优性能，且无需对估计器结构做假设或依赖于数据。

ABSTRACT

We consider the problem of estimating the mean $f$ of a Gaussian vector $Y$ with independent components of common unknown variance $\\sigma^{2}$. Our estimation procedure is based on estimator selection. More precisely, we start with an arbitrary and possibly infinite collection $\\FF$ of estimators of $f$ based on $Y$ and, with the same data $Y$, aim at selecting an estimator among $\\FF$ with the smallest Euclidean risk. No assumptions on the estimators are made and their dependencies with respect to $Y$ may be unknown. We establish a non-asymptotic risk bound for the selected estimator. As particular cases, our approach allows to handle the problems of aggregation and model selection as well as those of choosing a window and a kernel for estimating a regression function, or tuning the parameter involved in a penalized criterion. We also derive oracle-type inequalities when $\\FF$ consists of linear estimators. For illustration, we carry out two simulation studies. One aims at comparing our procedure to cross-validation for choosing a tuning parameter. The other shows how to implement our approach to solve the problem of variable selection in practice.

研究动机与目标

• 开发一种适用于未知方差的高斯向量模型的一般性、非渐近估计器选择框架。
• 基于相同数据从未知结构或依赖关系的任意（可能无限）估计器集合中选择最优估计器，且不假设其函数形式。
• 为所选估计器推导非渐近风险界和oracle型不等式，尤其当集合由线性估计器组成时。
• 为高维设置下的调参选择和变量选择提供交叉验证的实用替代方案。
• 统一并推广模型选择、聚合、核函数与带宽选择以及正则化参数调优的方法。

提出的方法

• 该方法通过最小化基于欧氏风险的、数据驱动的惩罚准则，从族 $\mathbb{F} = \{\widehat{f}_\lambda, \lambda \in \Lambda\}$ 中选择估计器。
• 利用通过浓度不等式和二次型控制推导出的非渐近风险界，特别利用投影算子和Moore-Penrose逆的结构。
• 通过数据驱动的噪声方差估计 $\widehat{\sigma}^2$ 校准惩罚项，确保对未知 $\sigma^2$ 的自适应性。
• 该方法依赖一个关键引理，用于控制正定算子逆的迹，从而控制所选估计器的有效维度。
• 对于线性估计器，该方法推导出oracle不等式，其风险界与集合中最佳可能估计器的风险相差一个对数因子。
• 该选择规则计算高效，避免了重抽样，与交叉验证相比更适合高维或复杂模型。

实验结果

研究问题

• RQ1 是否存在一种单一的数据驱动选择规则，可在不预先了解估计器结构的情况下，实现各类估计问题的最优风险性能？
• RQ2 在未知方差的非渐近设定下，如何从未知家族的估计器中选择最佳估计器？
• RQ3 所选估计器的理论风险界是什么？其与oracle风险相比如何？
• RQ4 该方法能否在真实维度未知或较高时，仍为线性估计器实现oracle不等式？
• RQ5 在调参选择和变量选择任务中，该方法与交叉验证相比表现如何？

主要发现

• 所选估计器在高概率下实现了非渐近风险界，其界与最优风险相差一个常数因子，且在集合 $\mathbb{F}$ 上一致成立。
• 对于线性估计器，该方法实现了oracle不等式，其风险被限制在最佳可能风险与一个与 $\dim(S_*) \log(p)$ 成比例的惩罚项之和内，其中 $p$ 为预测变量数量。
• 该方法对Gram矩阵逆的迹提供了精确界，从而控制有效维度，并在高维设置下确保稳定性。
• 该方法在Lasso、岭回归、核平滑和变量选择等问题中实现了最优调参，且具有理论保证。
• 模拟研究显示，该方法在调参选择中的表现与交叉验证相当或更优，且计算成本显著更低。
• 该方法对未知噪声方差具有鲁棒性，且无需重抽样，因此在实际应用中比交叉验证更高效。