[论文解读] Interplay of minimax estimation and minimax support recovery under sparsity

Mohamed Ndaoud|arXiv (Cornell University)|Oct 12, 2018

Control Systems and Identification参考文献 5被引用 6

一句话总结

本文引入了高维稀疏线性回归中缩放极小化估计的新概念，表明当信噪比尺度 $ a $ 固定时，估计误差可显著小于经典极小化界。本文建立了更紧致的下界，构造了一个实现 $ \sigma^2 s $ 风险的最优估计器，并证明了精确支持恢复并非实现精确估计（即 $ \sigma^2 s $ 风险）的必要条件，同时提出了一种自适应程序，在不同尺度下均实现极小化最优性。

ABSTRACT

In this paper, we study a new notion of scaled minimaxity for sparse estimation in high-dimensional linear regression model. We present more optimistic lower bounds than the one given by the classical minimax theory and hence improve on existing results. We recover sharp results for the global minimaxity as a consequence of our study. Fixing the scale of the signal-to-noise ratio, we prove that the estimation error can be much smaller than the global minimax error. We construct a new optimal estimator for the scaled minimax sparse estimation. An optimal adaptive procedure is also described.

研究动机与目标

• 通过固定信号尺度 $ a $，发展稀疏估计的精细化极小化理论，从而获得比经典极小化理论更乐观的误差界。
• 研究在高维模型中，为实现精确估计（即 $ \sigma^2 s $ 风险），是否必须进行精确支持恢复。
• 构造缩放极小化风险 $ \phi(s,a) $ 的最优估计器，并开发一种自适应程序，使其在未知信号尺度下实现极小化最优性。
• 阐明在稀疏性条件下，极小化估计风险与极小化支持恢复风险之间的相互作用，特别是在 $ s/p \to 0 $ 的高维情形下。

提出的方法

• 引入缩放极小化风险 $ \phi(s,a) = \inf_{\hat{\beta}} \sup_{\beta \in \Omega^{p}_{s,a}} \mathbb{E}_{\beta} \| \hat{\beta} - \beta \|^2 $，该定义固定了信号幅度 $ a $，从而得到比全局极小化风险更紧致的下界。
• 推导出一个新的估计风险下界，其值为 $ \sigma^2 s $，表明当支持集已知时该界可实现，且该界严格小于经典全局极小化率 $ 2\sigma^2 s \log(p/s) $。
• 提出一种新估计器 $ \hat{\beta}^a $，在 $ a $ 固定时可实现 $ \sigma^2 s $ 风险，其基于在阈值 $ t(a) $ 处对观测值 $ Y_i $ 进行截断，并通过浓度与矩不等式证明其最优性。
• 证明 SLOPE 估计器在适当调参下可实现缩放极小化风险，并构建一种自适应程序，通过数据驱动的截断规则在未知 $ a $ 下实现最优性能。
• 利用高斯尾部概率界和矩不等式控制估计器的 $ L_q $-风险，证明对 $ q \geq 1 $ 有 $ \mathbb{E}_\beta \| \hat{\beta} - \beta \|_q^q \leq C_q s \sigma_q^q $。
• 证明精确支持恢复并非精确估计的必要条件：所提出的估计器在不依赖 $ \hat{S}_\beta = S_\beta $ 的情况下，仍可实现 $ \sigma^2 s $ 风险。

实验结果

研究问题

• RQ1 经典全局极小化界 $ 2\sigma^2 s \log(p/s) $ 到底有多悲观？在固定信号尺度 $ a $ 时，能否获得更优的风险？
• RQ2 为实现 $ \sigma^2 s $ 估计风险，是否必须进行精确支持恢复？还是可在不依赖它的情况下实现？
• RQ3 能否构造一种自适应估计器，在未知 $ a $ 的前提下实现缩放极小化风险 $ \phi(s,a) $？
• RQ4 在稀疏性条件下，极小化估计风险与极小化支持恢复风险之间的确切关系是什么？

主要发现

• 缩放极小化风险 $ \phi(s,a) $ 的下界为 $ \sigma^2 s $，且该界是紧致的：存在一个估计器，使得对固定的 $ a $，有 $ \mathbb{E}_\beta \| \hat{\beta} - \beta \|^2 \leq (1+o(1)) \sigma^2 s $。
• 经典全局极小化界 $ 2\sigma^2 s \log(p/s) $ 严格大于缩放极小化风险，表明当 $ a $ 固定时，经典界具有悲观性。
• 精确支持恢复并非精确估计的必要条件：所提出的估计器在不依赖 $ \hat{S}_\beta = S_\beta $ 的情况下，仍可实现 $ \sigma^2 s $ 风险。
• 构建了一种自适应程序，通过使用数据驱动的截断规则，在所有 $ a $ 下均实现 $ \phi(s,a) $ 的极小化最优性，且无需事先知晓 $ a $。
• 对 $ q \geq 1 $，估计器的 $ L_q $-风险满足 $ \mathbb{E}_\beta \| \hat{\beta} - \beta \|_q^q \leq C_q s \sigma_q^q $，其与下界仅相差一个常数因子。
• 当 $ a \leq a_q(1) $ 时，$ \mathbb{E}_\beta \| \hat{\beta} - \beta \|_q^q $ 的下界至少为 $ \frac{1}{4} \Phi_o(a)(1+o(1)) $，表明当 $ a $ 较小时风险严格大于 $ \sigma^2 s $，但仍优于全局极小化率。