[论文解读] Minimax estimation of a p-dimensional linear functional in sparse Gaussian models and robust estimation of the mean

Olivier Collier, Arnak S. Dalalyan|arXiv (Cornell University)|Dec 15, 2017

Statistical Methods and Inference被引用 4

一句话总结

本文研究了高维稀疏高斯模型中 p 维线性泛函的极小极大估计，表明分组阈值估计器可实现 $ s^2\sqrt{p} + sp $ 的速率，相较于逐分量阈值的 $ s^2p + sp $ 实现了多项式级改进。此外，本文建立了该问题与鲁棒均值估计之间的强关联，提出了在存在异常值时计算高效且速率更优的内点估计器。

ABSTRACT

We consider two problems of estimation in high-dimensional Gaussian models. The first problem is that of estimating a linear functional of the means of $n$ independent $p$-dimensional Gaussian vectors, under the assumption that most of these means are equal to zero. We show that, up to a logarithmic factor, the minimax rate of estimation in squared Euclidean norm is between $(s^2\wedge n) +sp$ and $(s^2\wedge np)+sp$. The estimator that attains the upper bound being computationally demanding, we investigate suitable versions of group thresholding estimators that are efficiently computable even when the dimension and the sample size are very large. An interesting new phenomenon revealed by this investigation is that the group thresholding leads to a substantial improvement in the rate as compared to the element-wise thresholding. Thus, the rate of the group thresholding is $s^2\sqrt{p}+sp$, while the element-wise thresholding has an error of order $s^2p+sp$. To the best of our knowledge, this is the first known setting in which leveraging the group structure leads to a polynomial improvement in the rate. The second problem studied in this work is the estimation of the common $p$-dimensional mean of the inliers among $n$ independent Gaussian vectors. We show that there is a strong analogy between this problem and the first one. Exploiting it, we propose new strategies of robust estimation that are computationally tractable and have better rates of convergence than the other computationally tractable robust (with respect to the presence of the outliers in the data) estimators studied in the literature. However, this tractability comes with a loss of the minimax-rate-optimality in some regimes.

研究动机与目标

• 推导高维稀疏高斯模型中 p 维线性泛函估计的极小极大下界与上界。
• 研究贪心子集选择、分组阈值与逐分量阈值估计器在计算与统计性能之间的权衡。
• 建立线性泛函估计与存在异常值时均值鲁棒估计之间的新关联。
• 提出新型计算上可行的鲁棒估计器，其收敛速率优于现有方法。
• 证明利用组结构可实现估计速率的多项式级改进，这一现象在稀疏估计中此前未被观察到。

提出的方法

• 推导估计风险的非渐近极小极大下界，表明速率在对数因子内为 $ sp + s^2 \wedge n $。
• 分析三种估计器类型：贪心子集选择（GSS）、分组硬/软阈值（GHT/GST）与逐分量阈值（HT），推导其风险界。
• 利用卡方与高斯随机矩阵的浓度不等式与尾部界，控制高维设定下的估计误差。
• 通过证明等价的统计结构，建立线性泛函估计问题与鲁棒均值估计之间的对偶性。
• 提出一种基于分组阈值原理的新鲁棒估计策略，适用于处理高维数据中的异常值。
• 采用矩阵浓度与随机矩阵理论（如 Vreshynin 不等式）控制分析中的算子范数与残差项。

实验结果

研究问题

• RQ1 在具有 n 个独立观测值的高维稀疏高斯模型中，p 维线性泛函的极小极大估计速率为何？
• RQ2 在估计风险与计算效率方面，分组阈值相较于逐分量阈值表现如何？
• RQ3 线性泛函估计问题的结构能否被用于提升在污染条件下的鲁棒均值估计？
• RQ4 在何种参数范围内，分组阈值达到极小极大速率最优？其与贪心子集选择相比表现如何？
• RQ5 在高维稀疏性下，鲁棒均值估计中计算可行性与极小极大最优性之间的权衡为何？

主要发现

• 估计 p 维线性泛函的极小极大风险在对数因子内介于 $ (s^2 \wedge n) + sp $ 与 $ (s^2 \wedge np) + sp $ 之间。
• 分组阈值实现的风险为 $ s^2\sqrt{p} + sp $，相较于逐分量阈值的 $ s^2p + sp $ 实现了多项式级改进，速率比最低可达 $ O(p^{-1/2}) $。
• 贪心子集选择在稀疏区域 $ s = O(p \vee \sqrt{n}) $ 下达到极小极大速率最优，但对大规模问题计算不可行。
• 分组阈值在超稀疏区域 $ s = O(\sqrt{p}) $ 下达到极小极大速率最优，兼具统计最优性与计算高效性。
• 基于分组阈值的新型鲁棒均值估计策略，其收敛速率优于现有计算可行的鲁棒估计器。
• 尽管速率得到改善，所提出的鲁棒估计器在所有参数范围内并非极小极大速率最优，表明存在可行性与最优性之间的权衡。