[论文解读] Minimax estimation of linear and quadratic functionals on sparsity classes

Olivier Collier, Laëtitia Comminges+1 more|arXiv (Cornell University)|Feb 2, 2015

Statistical Methods and Inference参考文献 46被引用 65

一句话总结

本文在高斯序列模型中建立了对稀疏向量的线性、二次和 ℓ₂-范数泛函估计的非渐近极小极大率。它推导了针对稀疏性类 $B_0(s)$ 和 $\beta_q(r)$ 的最优估计器，揭示了三个不同的收敛区域——稀疏、密集和退化——其中对数项的尺度为 $\log(d/s^2)$，而非 $\log(d/s)$，并构建了完全自适应的估计器，可在未知 $s$ 或 $\sigma$ 的情况下实现近乎最优的速率。结果为在稀疏替代假设下检验的 Ingster-Donoho-Jin 理论提供了非渐近的细化。

ABSTRACT

For the Gaussian sequence model, we obtain non-asymptotic minimax rates of estimation of the linear, quadratic and the L2-norm functionals on classes of sparse vectors and construct optimal estimators that attain these rates. The main object of interest is the class s-sparse vectors for which we also provide completely adaptive estimators (independent of s and of the noise variance) having only logarithmically slower rates than the minimax ones. Furthermore, we obtain the minimax rates on the Lq-balls where 0 < q < 2. This analysis shows that there are, in general, three zones in the rates of convergence that we call the sparse zone, the dense zone and the degenerate zone, while a fourth zone appears for estimation of the quadratic functional. We show that, as opposed to estimation of the vector, the correct logarithmic terms in the optimal rates for the sparse zone scale as log(d/s^2) and not as log(d/s). For the sparse class, the rates of estimation of the linear functional and of the L2-norm have a simple elbow at s = sqrt(d) (boundary between the sparse and the dense zones) and exhibit similar performances, whereas the estimation of the quadratic functional reveals more complex effects and is not possible only on the basis of sparsity described by the sparsity condition on the vector. Finally, we apply our results on estimation of the L2-norm to the problem of testing against sparse alternatives. In particular, we obtain a non-asymptotic analog of the Ingster-Donoho-Jin theory revealing some effects that were not captured by the previous asymptotic analysis.

研究动机与目标

• 在高斯序列模型中建立对高维稀疏向量的线性、二次和 ℓ₂-范数泛函估计的非渐近极小极大率。
• 构建无需事先知道稀疏度 $s$ 或噪声方差 $\sigma$ 的最优且完全自适应的估计器。
• 刻画不同稀疏性范式下的估计速率相变现象，识别出三个不同的收敛区域：稀疏、密集和退化。
• 将函数估计的理论理解从光滑性类扩展至非凸稀疏性类，特别是 $B_0(s)$ 和 $\ell_q$-球（$0 < q \leq 2$），其中先前结果较为有限。
• 将结果应用于在稀疏替代假设下的极小极大检验，提供 Ingster-Donoho-Jin 理论的非渐近类比，带来更优的有限样本洞察。

提出的方法

• 分析高斯序列模型 $y_j = \theta_j + \sigma \xi_j$，其中 $\theta$ 受限于 $s$-稀疏或 $\ell_q$-有界类。
• 利用非渐近集中与尾部不等式，推导 $L(\theta) = \sum \theta_i$、$Q(\theta) = \sum \theta_i^2$ 和 $\|\theta\|_2 = \sqrt{Q(\theta)}$ 的估计器的极小极大风险界。
• 应用基于阈值的估计器，使其能自适应未知的 $s$ 和 $\sigma$，并通过数据驱动的选择规则进行调参。
• 使用对称化与高斯集中技术来界定估计器的风险，特别是针对 $\ell_2$-范数和二次泛函。
• 通过分析风险表达式中 $s$、$d$ 和 $\sigma$ 的相互作用，识别出三个不同的收敛区域——稀疏、密集和退化。
• 证明在稀疏区域中，最优速率里正确对数项的尺度应为 $\log(d/s^2)$，而非 $\log(d/s)$，从而纠正了先前工作中常见的误解。

实验结果

研究问题

• RQ1 在高斯序列模型中，对 $s$-稀疏向量的线性、二次和 ℓ₂-范数泛函估计的非渐近极小极大率是什么？
• RQ2 这些泛函的极小极大率如何依赖于稀疏度 $s$、维度 $d$ 和噪声方差 $\sigma$？
• RQ3 在稀疏区域中，最优速率里对数项的正确尺度是什么？为何它不同于 $\log(d/s)$？
• RQ4 能否构造出完全自适应的估计器，使其在未知 $s$ 或 $\sigma$ 的情况下仍能达到近乎最优的速率？
• RQ5 在存在稀疏性约束时，二次泛函的估计速率与线性泛函及 ℓ₂-范数的速率有何不同？

主要发现

• 在 $B_0(s)$ 上估计线性泛函和 ℓ₂-范数的极小极大率在 $s = \sqrt{d}$ 处表现出明显的拐点，将稀疏区与密集区分隔开。
• 在稀疏区（$s \leq \sqrt{d}$），线性泛函和 ℓ₂-范数泛函的最优速率尺度为 $\sigma^2 \log(d/s^2)/d$，其中对数项依赖于 $d/s^2$，而非 $d/s$。
• 二次泛函 $Q(\theta)$ 的极小极大率更为复杂，不能仅通过稀疏性约束 $\theta \in B_0(s)$ 来刻画；还需额外的结构信息。
• 针对 $B_0(s)$ 存在完全自适应的估计器，即使在未知 $s$ 或 $\sigma$ 的情况下，其速率也能在对数因子内逼近极小极大率，速率退化仅为 $\log \log d$。
• 分析揭示了二次泛函存在四个不同的区域，包括一个退化区域，而线性泛函与 ℓ₂-范数泛函仅表现出三个区域。
• 结果为在稀疏替代假设下的极小极大检验提供了非渐近细化，捕捉到了渐近分析所遗漏的有限样本效应。